猫眼电影记者 刘品言 报道首次登录送91元红包

机器之心发布

机器之心编辑部

今年，文本生成领域迎来了从自回归（Auto-Regressive）向扩散语言模型（Diffusion LM）的重要范式转变。然而，长序列训练的不稳定性一直是制约扩散模型发展的核心痛点。上下文窗口限制使得模型在处理复杂的数学推理、编程任务，尤其是需要深度推理的「慢思考」场景时，显得捉襟见肘。

华为近日正式发布 openPangu-R-7B-Diffusion，基于openPangu-Embedded-7B 进行少量数据（800B tokens）续训练，成功将扩散语言模型的上下文长度扩展至 32K

在「慢思考」能力的加持下，该模型在多个权威基准中创下了 7B 参数量级的全新 SOTA 纪录：

多学科知识（MMLU-Pro）：超越 16B 参数量的 LLaDA 2.0-mini-preview22%数学推理（MATH）：得分，大幅领先同类模型。代码生成（MBPP）：得分，展现出卓越的逻辑泛化能力。

Base模型链接：https://ai.gitcode.com/ascend-tribe/openPangu-7B-Diffusion-Base慢思考模型链接：https://ai.gitcode.com/ascend-tribe/openPangu-R-7B-Diffusion

接下来，我们将深入解析这款模型背后的技术革新。

1. 架构创新：

前文因果注意力掩码，自回归到 BlockDiffusion 的无缝迁移

openPangu-R-7B-Diffusion 在注意力机制上并未沿用传统扩散模型（如 LLaDA）的全注意力（Full Attention），也未采用 SDAR 或 Fast-dLLMv2 的分块掩码（Block Attention），而是创新性地融合了自回归的前文因果注意力掩码（Causal Attention Mask）。

这一设计从根本上解决了架构适配难题：

消除适配壁垒：以往将自回归模型适配至扩散模型，往往需要 Attention Mask Annealing 或 Shift Operation 等复杂操作来弥合差异。而 openPangu-R-7B-Diffusion 通过保留前文的因果注意力特性，使得模型仅需从「预测 Next Token」转变为「预测 Next Block 中的 Mask Token」，极大地降低了适配成本。兼容性最大化：该设计让模型能够自然继承自回归模型的预训练知识，为长窗口训练打下坚实基础。

2. 训练与推理：双模式解码与效率倍增

在训练策略上，openPangu-R-7B-Diffusion 延续了 BlockDiffusion 的思路（拼接带掩码的 Block 与无掩码的 Context），但进行了关键优化：

Context 利用率 100%：传统方法往往忽略无掩码 Context 部分的 Loss 计算，导致一半的数据被浪费。openPangu-R-7B-Diffusion 则将这部分数据用于标准的自回归 Next Token Prediction 训练。双模式解码：这种训练方式赋予了模型「自回归 + 扩散」的双重解码能力。用户可以通过不同的采样设置，灵活权衡生成质量与速度。极致性能：模型完整保留了变长推理与 KV-Cache 特性。在并行解码模式下，其速度最高可达自回归解码的2.5 倍

可视化实测：亲眼见证「慢思考」与扩散生成的融合

为了更直观地展示 openPangu-R-7B-Diffusion 的工作机制，我们对模型的推理过程进行了可视化处理。

在输入一道经典的数学逻辑推理题（Claire 的煎蛋问题）后，我们可以清晰地观察到扩散语言模型的独特生成方式：模型并非像传统自回归模型那样「逐词蹦出」，而是在 4 个生成步数（Generation Steps）内，并行地将多个 [MASK] 噪声逐步去噪还原为

、Claire、makes 等清晰的语义 Token。

图中首位的Token 尤为关键，它标志着模型正在启动我们前文提到的 「慢思考」模式。这种结合了扩散并行生成与深度思维链（Chain-of-Thought）的能力，正是 openPangu-R-7B-Diffusion 能够在数学和编程基准上大幅超越同类模型的核心原因。

结语：开启扩散语言模型的新篇章

openPangu-R-7B-Diffusion 的发布，不仅仅是一个新模型的开源，更是对「扩散模型能否处理复杂长文本」这一难题的有力回应。凭借其创新的因果注意力掩码架构，它成功证明了扩散模型不仅可以「快」（并行解码），更可以「深」（32K 长文与慢思考）。

值得一提的是，openPangu-R-7B-Diffusion 的训练、推理及评测全流程均在昇腾 NPU集群上完成，有力证明了国产算力在以前沿扩散语言模型领域的强劲实力。

  时事1：ag大平台有哪些

  12月24日,演绎精选经典曲目《月光涟漪——歌剧重唱音乐会》上演,一、货币政策方面，应尽快大幅下降政策利率，扩大PSL规模，让市场看到和相信央行提升价格水平的决心。,世界杯买球平台下载。

  12月24日,年内新增超5500亿元 债券ETF规模创历史新高,明天，黑龙江东北部、江南中东部和南部、西南地区南部、华南大部等地部分地区有中到大雨，其中，江西东部、浙江南部、福建北部、广西东北部、广东中北部等地部分地区有暴雨或大暴雨。,品尊国际,英亚体育,尊龙平台网址。

  时事2：ManBetx开户

  12月24日,以电力为基 绘就雪域乡村振兴新图景,报道称，有类似想法的还有杰森·科利普，他与大约300名房地产经纪人合作，负责拍摄房屋的航拍照片和视频。“我，一个在南部密西西比州操控无人机飞越松树林和房屋的小人物，为什么要限制这类活动呢？”科利普表示，“作为一名小企业主，我们还有什么其他选择？目前我们真的没有答案。”,ag有正规平台吗,火凤凰炸金花,皇冠快速登陆。

  12月24日,《习近平谈治国理政》中肯读者会在内罗毕举行,央行购金是近年黄金分析一股不可忽视的力量。但是关于央行购金的细节，不论是微观操作——央行如何买金，在何地窖藏黄金，通常使用的央行购金和黄金储备数据又反映了哪个口径下的央行黄金行为，这些细节都缺乏系统研究。,体育平台app大全,im电竞官方下载,手机188体育。

  时事3：嘉鑫国际

  12月24日,欧美同学会“双创”大赛侧记：“栽下梧桐树，引得凤凰来”如何实现,与此类似，2003年，CBU获得了直接购买所有本地精炼黄金的独家权利。CBU以国际市场价格（LBMA AM价格）但以乌兹别克苏姆（当地货币）购买NMMC和AMMC的精炼黄金。精炼厂每月将其黄金交付给CBU的专用金库。,天博官方,斗地主赢钱的游戏有哪些,凯时足球。

  12月24日,何晴在京离世，她是内地唯一演遍四大名著的女演员,陈方清1952年出生，早期长期在中央国家机关从事组织人事和金融监管工作，后加入中国信达担任副总裁，还担任过彼时同在信达旗下的幸福人寿执行董事、党委书记。,凯发k8官方网站首页,九五至尊二网站,爱赢体育官方。

  时事4：pg电子游戏放水时间

  12月24日,第十届华灿奖颁奖 台港澳及海外参赛人数同比增三成,5月6日，晓沃镇政府工作人员告诉红星新闻，据了解，5月4日，大约七八名外地游客沿一条公共陆海生产通道前往滩涂游玩。下午1点左右，这几名游客进入村民的蛏田里挖蛏子，村民发现后，双方发生了口角冲突。争执中，村民提到自己为这块蛏田投入了3万多元成本，游客挖了蛏子应该赔钱。,下载巴黎人手机app,188bet体育下载,bbin直播视讯。

  12月24日,星火成炬｜诚于心 信于行,截至2024年，全球央行的黄金储备在总量和价值上都达到了历史性的高位，总储备量达到3.6万吨，接近布雷顿森林体系时代的水平。按市场价格计算，黄金价值已经突破4万亿美元，去年黄金占全球外汇储备的比例已经升至20%，超越16%的欧元，仅次于46%的美元，一举成为全球第二储备资产。,众恒52868con,官网体育在线365,华体会会员登录。