模型基座，重构混合稀疏注意力

作者 | 飞野

编辑 | 四月

11 月 5 日，百度一声不吭，把文心 5.5 Flash 扔上了 Hugging Face。

没有发布会，没有预热，放出来的甚至是一个还没做过对话调教的“毛坯”底座。可成绩单一点也不含糊：在百度自测的 30 项基准里，它赢下 DeepSeek-V4-Flash 底座 26 项，编程测试 MBPP+ 更是领先整整 14.3 分。

神奇的是它的配置文件，多项参数和 DeepSeek V4 Flash 一模一样。注意力实现一栏，赫然写着“dsv4_hybrid”；43 层、4096 维、64 个注意力头。

照着 DeepSeek 的骨架搭起来，转头又把 DeepSeek 比了下去。这是一次讨巧的“抄作业”，还是真正的青出于蓝？文心到底借了什么、改了什么？

文心 5.5 Flash 和 DeepSeek-V4-Flash 同台竞技， 竟然 30 项赢下 26 项。并且在编程项目上领先最多。

仔细看两个模型，两者几乎是同一个量级：文心总参数 280B、激活 14B，DeepSeek-V4-Flash 是 284B、激活 13B。这次放出的只是“预训练结束那一刻”的权重，没有后训练帮忙“化妆”，比的就是预训练的真功夫。百度拉来 DeepSeek-V4-Flash、小米 MiMo-V2.5、腾讯 Hy3-preview 三家的底座模型，用同一套评测跑了 7 类 30 项。

差距最大的是编程。MBPP+ 和 HumanEval+ 两项，文心分别以 81.5 对 67.2、82.3 对 69.5 领先，一口气拉开十几分。对小米 MiMo 和腾讯 Hy3，文心也各赢下 27 项。

文心不是全胜，比如中文事实问答 ChineseSimpleQA 这一项，它以 73.0 对 75.3 被 DeepSeek 反超了回去。不过要注意，三家对手的底座都是今年 4 月发布的，DeepSeek 9 月已经推出了 V4.1 Flash。

整体表现这么好，那么它到底从 DeepSeek 偷师了多少，又如何超过师傅的呢？

文心沿用了 DeepSeek V4 的压缩注意力、残差和专家路由，证据就写在配置文件里。

百度博客通篇只在评测部分提到 DeepSeek。可一旦翻开两家在 Hugging Face 上的 config.json，重合之处一目了然：

• 层数、隐藏维度、注意力头数：相同，都是 43 层、4096 维、64 个头

• 注意力头维度、Query 压缩维度：相同

• 滑动窗口、索引器的头数和头维度：相同

• mHC 残差通道数和迭代次数：相同

• 上下文扩展方式：相同

• 压缩层排布：不同，文心 37 层压 128 倍、6 层不压缩，DeepSeek 是压 4 倍和压 128 倍交错

• 专家层：不同，文心 512 个专家选 10 个，DeepSeek 256 个选 6 个

前几项决定了主干网络有多深、多宽，后几项则深入到稀疏注意力和残差的内部。主干和内部同时对上，可见借鉴之深。

DeepSeek 这副骨架要对付的“显存刺客”：KV 缓存。模型会把每个 token 算好的中间结果，也就是 KV 缓存，存在显存里。上下文越长，这份缓存也持续暴涨。

DeepSeek V4 的解法是“压”和“选”，把注意力层分成两个工种：

• 重压缩注意力（HCA）：每 128 个 token 压成一条缓存，模型仍能看到全文，只是看得粗，缓存只剩一百二十八分之一；

• 压缩稀疏注意力（CSA）：每 4 个 token 压成一条，再派一个轻量索引器打分，只选最相关的 512 条细算，看得细，但只看重点。这套挑选机制，就是 DeepSeek 的稀疏注意力（DSA）。

两种层交替排列，DeepSeek V4 Flash 就把长文本的显存账压了下来。

文心 43 层里有 37 层用的正是 HCA，全文层挑重点用的也是 DSA。DSA 公开后不到一年，就成了智谱 GLM-5、腾讯混元 Hy4 的标配。如今，它又出现在了文心身上。

残差和路由也是一脉相承。文心同样用流形约束超连接（mHC）把普通残差扩成 4 条并行通道，专家负载均衡不加辅助损失，专家间通信用的是 DeepSeek 开源的 DeepEP。

但文心并非完全照搬，也做了几处独特的架构更新。

文心的改动集中在四处：压缩层、多 token 预测、专家层和输出头。

第一刀，砍在压缩层上。

DeepSeek V4 Flash 的注意力层，是 CSA 和 HCA 交替排列。文心在这里动了三处：

1. 砍掉 CSA：压 4 倍再挑重点的 CSA 层，一层不留；

2. 补上全文层：每七层留一层不压缩的全文层，逐个 token 保留历史，再从中挑出最相关的 2048 个位置细算；

3. 按成本配头宽：省算力 HCA 层沿用 512 维宽注意力头，废算力的全文层改用 256 维窄头，作为均衡。

百度称，在相近的缓存预算下，这套组合优于 HCA 配 CSA。

按百度的说法，全文层是唯一能逐个看清远处每个 token 的层：HCA 负责粗看全局，精细活全部交给这 6 层。博客特意写道，虽然 43 层里有 37 层看的是压缩了 128 倍的序列，这 6 个全文层已经足以撑住长文本表现。测试中，在 6 项长文本测试里，文心有 4 项高于 DeepSeek。

第二刀，对准了多 token 预测（MTP）。

所谓多 token 预测，是训练时让模型不只猜下一个 token，还顺带猜后面几个，逼它看得更远。DeepSeek V4 的做法，是在主干外挂一个 MTP 模块专门干这件事。百度的判断很尖锐：这样一来，预测未来 token 的训练信号“主要训练的是这些外挂模块”，主干本身学到的有限。

文心换上了自研的 ECHO，干脆让主干模型自己的最后一层来猜后面的 token。这一层由此身兼两职，还几乎不花钱：

1. 训练时：预测未来 token 的训练信号，全部落在主干身上；

2. 推理时：兼职当投机解码的“草稿模型”，先快速猜出后面几个 token，再交给大模型一次性核对，猜对的直接收下，省掉逐个生成的等待；

3. 代价上：只多出约 0.36B 参数，不用另外训练一个小模型。

更意外的是，训练文心5.5 Flash时只练了多猜 1 个 token，推理时却能一口气往前猜好几个，被大模型认可的比例还高于同样训练的 MTP 模块。文心团队在 ECHO 论文里，也拿它和 DeepSeek 的 MTP 正面比过：预测 3 步时，代码成绩高 2.23 分，训练开销却只有一半。

另外两刀，落在专家层和输出头。

• 专家层：专家数从 256 个翻倍到 512 个，每次激活 10 个，但每层先把输入压到一半宽度再计算，官方称通信量和专家计算量大约减半。路由也改由多个路由器共同投票，一个看走了眼，其他还能纠正，免得“选错会自我强化”。

• 输出头：MultiMax 把单一的 softmax 温度换成可学习的分段温度，不用再在“压住离谱候选”和“保留合理选项”之间二选一。

这些改动能和成绩对上一部分，比如长文本题 RepoQA、LongBench-v2 都领先 DeepSeek。但百度对每项改动只说了“效果更好”，没有拆开各自的贡献。语料也是变量，文心的代码数据里专门加了提交记录、代码评审和 CI 验证过的修复。所以文心 5.5 flash 测试表现整体好于 DeepSeekv4 flash，有架构改动和训练语料的共同贡献。

从文心 5.0 的全模态闭源，到 5.5 Flash 的纯文本开源底座，文心把重心放到了代码、长文本和方便开发者改造部署上。

文心 5.0 去年 11 月发布，主打原生全模态，只提供 API。今年 5 月的 5.1 同样没有放出权重。这一次，百度不仅把权重交了出来，还把模态收窄到了纯文本。

为什么先放底座？模型卡给的解释是，不同领域、推理任务和智能体应用，需要不同的数据、训练目标和行为策略。在预训练结束时放出权重，开发者就能在通用能力的基础上，自己决定往哪个方向继续训。

博客说，这次语料重点补的是“事后很难再加”的能力，即代码库级编程和长文本理解。工具链也在向社区靠拢：训练代码仍出自飞桨体系，推理部署直接接 SGLang 和 vLLM，微调示例用的是英伟达 NeMo。许可上，年收入 5000 万美元以下的商用免费。

对开发者来说，这是一块现成的高性能底座：100 万 token 的上下文、偏重代码库的语料，年收入 5000 万美元以下还能免费商用，拿来继续训练正合适。对行业来说，从 DSA 到 mHC，再到整套混合注意力，DeepSeek 开源出去的设计，正在变成国产大模型的知识宝库。百度在此基础上发力，最终发布的版本能达到什么效果，让人期待。

声明：本文为AI 前线原创，不代表平台观点，也不构成投资建议，未经许可禁止转载。

今日荐文

OpenAI 发布 ChatGPT Images 2.6：6 秒生成图片， 速度提升50%，还能直接做 GIF

GPT-6自主爆改Qwen权重被吹成神？Meta知名研究员泼冷水

66 岁 Yann LeCun 发新论文挑战 Scaling Law：1.09 亿参数胜过 720 亿，模型越大不一定越懂世界

Apple智能接入阿里千问11月4日上线；OpenAI官宣合并ChatGPT和Codex额度字节；DeepSeek开源全新Agent架构Super-agent｜AI周报

拿到无限Token后，这位27岁程序员要用两个人重写思科98%旧代码

你也「在看」吗？👇