猫眼电影记者 卿荣波 报道首次登录送91元红包

机器之心发布

机器之心编辑部

今年，文本生成领域迎来了从自回归（Auto-Regressive）向扩散语言模型（Diffusion LM）的重要范式转变。然而，长序列训练的不稳定性一直是制约扩散模型发展的核心痛点。上下文窗口限制使得模型在处理复杂的数学推理、编程任务，尤其是需要深度推理的「慢思考」场景时，显得捉襟见肘。

华为近日正式发布 openPangu-R-7B-Diffusion，基于openPangu-Embedded-7B 进行少量数据（800B tokens）续训练，成功将扩散语言模型的上下文长度扩展至 32K

在「慢思考」能力的加持下，该模型在多个权威基准中创下了 7B 参数量级的全新 SOTA 纪录：

多学科知识（MMLU-Pro）：超越 16B 参数量的 LLaDA 2.0-mini-preview22%数学推理（MATH）：得分，大幅领先同类模型。代码生成（MBPP）：得分，展现出卓越的逻辑泛化能力。

Base模型链接：https://ai.gitcode.com/ascend-tribe/openPangu-7B-Diffusion-Base慢思考模型链接：https://ai.gitcode.com/ascend-tribe/openPangu-R-7B-Diffusion

接下来，我们将深入解析这款模型背后的技术革新。

1. 架构创新：

前文因果注意力掩码，自回归到 BlockDiffusion 的无缝迁移

openPangu-R-7B-Diffusion 在注意力机制上并未沿用传统扩散模型（如 LLaDA）的全注意力（Full Attention），也未采用 SDAR 或 Fast-dLLMv2 的分块掩码（Block Attention），而是创新性地融合了自回归的前文因果注意力掩码（Causal Attention Mask）。

这一设计从根本上解决了架构适配难题：

消除适配壁垒：以往将自回归模型适配至扩散模型，往往需要 Attention Mask Annealing 或 Shift Operation 等复杂操作来弥合差异。而 openPangu-R-7B-Diffusion 通过保留前文的因果注意力特性，使得模型仅需从「预测 Next Token」转变为「预测 Next Block 中的 Mask Token」，极大地降低了适配成本。兼容性最大化：该设计让模型能够自然继承自回归模型的预训练知识，为长窗口训练打下坚实基础。

2. 训练与推理：双模式解码与效率倍增

在训练策略上，openPangu-R-7B-Diffusion 延续了 BlockDiffusion 的思路（拼接带掩码的 Block 与无掩码的 Context），但进行了关键优化：

Context 利用率 100%：传统方法往往忽略无掩码 Context 部分的 Loss 计算，导致一半的数据被浪费。openPangu-R-7B-Diffusion 则将这部分数据用于标准的自回归 Next Token Prediction 训练。双模式解码：这种训练方式赋予了模型「自回归 + 扩散」的双重解码能力。用户可以通过不同的采样设置，灵活权衡生成质量与速度。极致性能：模型完整保留了变长推理与 KV-Cache 特性。在并行解码模式下，其速度最高可达自回归解码的2.5 倍

可视化实测：亲眼见证「慢思考」与扩散生成的融合

为了更直观地展示 openPangu-R-7B-Diffusion 的工作机制，我们对模型的推理过程进行了可视化处理。

在输入一道经典的数学逻辑推理题（Claire 的煎蛋问题）后，我们可以清晰地观察到扩散语言模型的独特生成方式：模型并非像传统自回归模型那样「逐词蹦出」，而是在 4 个生成步数（Generation Steps）内，并行地将多个 [MASK] 噪声逐步去噪还原为

、Claire、makes 等清晰的语义 Token。

图中首位的Token 尤为关键，它标志着模型正在启动我们前文提到的 「慢思考」模式。这种结合了扩散并行生成与深度思维链（Chain-of-Thought）的能力，正是 openPangu-R-7B-Diffusion 能够在数学和编程基准上大幅超越同类模型的核心原因。

结语：开启扩散语言模型的新篇章

openPangu-R-7B-Diffusion 的发布，不仅仅是一个新模型的开源，更是对「扩散模型能否处理复杂长文本」这一难题的有力回应。凭借其创新的因果注意力掩码架构，它成功证明了扩散模型不仅可以「快」（并行解码），更可以「深」（32K 长文与慢思考）。

值得一提的是，openPangu-R-7B-Diffusion 的训练、推理及评测全流程均在昇腾 NPU集群上完成，有力证明了国产算力在以前沿扩散语言模型领域的强劲实力。

  时事1：注册就送27元

  12月23日,长春机场开通长春=泉州=曼谷国际航线,经查，2009年3月至2015年5月，靳东在担任小金县委常委、县政府常务副县长，若尔盖县委副书记、县政府县长期间，利用职务上的便利，为7名商人老板提供帮助，收受商人老板的财物共计215万元。,空中网官网。

  12月23日,女足名宿范运杰：精神传承与技战术提升同样重要,“亚洲是全球经济增长引擎，在全球事务中扮演着非常重要的角色，在科技创新、环境保护、社会治理、国际热点问题等方面，都展现出了强大的实力和影响力。在此举办会议是共同推动创新潜力的良好契机，并为亚洲乃至世界的可持续经济发展势头奠定基础。”陈黎明表示，欢迎更多来自各国的代表共同推动全球合作与创新。,国际美女内裤真人透明,杏耀登陆线路测速,多宝足球。

  时事2：澳门威尼斯人视讯网址

  12月23日,解码广州超大城市应急指挥体系的“十八般武艺”,近日，关税法草案二审稿提请十四届全国人大常委会第九次会议审议，这使得关税从现行国务院暂行条例上升至法律再进一步。与一审稿相比，关税法草案二审稿有四大变化，不仅直接关系到进出口企业，也跟部分老百姓利益息息相关。,多人炸金花单机中文版下载,OD免费试玩,澳门匍京娱乐场。

  12月23日,海浪蓝色警报 辽宁、山东、福建近岸海域将有中到大浪,她发表了一段长达6分钟的演讲，指责邓肯在美国第五巡回上诉法院的工作对学生们造成了伤害，并建议学校需要重新考虑其言论自由政策，“你在法官席上发表的意见是对学生权利的绝对剥夺。”,博狗最新地址,威斯尼斯人娱乐,365bet官网投注。

  时事3：至尊游戏大厅

  12月23日,河南平粮台古城遗址博物馆新馆试运营,俄方欢迎中方愿为通过政治外交途径解决乌克兰危机发挥建设性作用。,bet36亚洲体育备用,真钱炸金花下载官网,世界杯在线买球软件。

  12月23日,宁夏：筑牢法治基石 绘就乡村善治新画卷,1比1的平局让国足出线命运的揭晓日从6月6日推迟到了11日，届时国足将做客挑战韩国队。,凯发k8网站登录,66购彩,365彩票。

  时事4：米乐m6官网网址入口

  12月23日,【央视快评】传递真善美传播正能量，为强国建设民族复兴伟业贡献志愿服务力量,在彼时新任董事长房文斌及其团队的领导下，聚焦于公司治理、市场化机制、战略转型和科技赋能等核心领域，成功使该公司实现了从连续亏损到持续盈利、从业务单一到多元发展的转变。2021年，国任保险保费规模突破100亿元，同比大增67.41%。,金沙银河官网在线,全球体育网站官网,扑克王 app。

  12月23日,寄生虫感染令人担忧 做好预防工作最重要,车企高管们坦言，特斯拉的成功让同行纷纷效仿，试图复刻其发展路径。但车企们始终没能认清一个事实：消费者愿意买单的是特斯拉，而非所有品牌的电动汽车。,云顶娱乐官方最新版下载,九州体育手机官方版,威尼斯备用网址。