天下苦Self-Distillation久矣？1.2万卡时实测：最能打的还是GRPO

自蒸馏论文一篇接一篇，可真把这些方法放到同一套环境里比较，原本的优势还能保住吗？

论文里明明有提升，自己复现却很难跑出同样的结果。

浙江大学、蚂蚁集团的研究团队在复现 Agentic RL 的 Self-Distillation 方法时，就反复遇到这样的情况。

更麻烦的是，一些工作沿用前人论文报告的基线分数，训练环境、配置和评测方式却未必一致。新方法报告的涨分，究竟有多少来自方法本身？

研究团队索性先不提出新算法，把已有方法放到同一套框架里重新比较。11 种训练方法、4 类任务、3 档模型，累计 132 次训练，投入超过 1.2 万 H800 卡时。

这次实测发现，10 种自蒸馏方法各有胜场，却没有一种能在所有测试设置下都超过 GRPO。有些方法最终成绩不错，训练过程却曾接近崩盘。

论文标题：

More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning

论文地址：

https://arxiv.org/abs/2610.19789

项目主页：

https://aim-uofa.github.io/Self-Distillation-AgentRL/

代码地址：

https://github.com/aim-uofa/Self-Distillation-AgentRL

自蒸馏研究的评测困境

Agentic RL 要让模型学会连续与环境交互，但训练反馈通常主要来自任务结果。一项任务可能经过十几步甚至几十步操作，最后成功或失败，并不能直接告诉模型哪些中间决策值得强化。

Self-Distillation 希望补上这部分信息。训练时借助额外的技能信息、后续环境观测等，为 Agent 自己生成的交互轨迹提供更细粒度的监督。实际执行任务时，不需要这些额外信息。

不同方法分别通过辅助蒸馏目标、优势重加权、奖励塑形，以及经过环境验证的教师续写来利用这些信号。

研究团队统计发现，90 天内出现了 47 篇 Agent 蒸馏相关论文，平均不到两天一篇。

而本次纳入比较的 10 种方法，其原始论文中只有 1 篇报告了重复评测，5 篇分析过训练失败，3 篇报告了实测计算开销。

新方法接连出现，能放在一起比较的实验依据却十分有限。

〓 已有方法对重复评测、训练失败与计算开销的报告情况

这次研究比较了 GRPO 和 10 种自蒸馏方法，模型覆盖 Qwen3.5-2B、4B、9B，任务包括 ALFWorld、ScienceWorld、Search-QA 和 WebShop，涉及家庭环境操作、科学任务、检索问答和网页购物。

每种方法在 12 组模型与任务设置下各训练 100 步，每 5 步记录一次验证成绩，并对训练完成的模型使用 8 个随机种子重复评测。

研究团队统一环境与评测流程，参考源论文和公开实现确定各方法的训练参数，并对部分方法做了适配。累计记录的 12,124.4 H800 GPU 小时包括训练、过程验证和模型保存，尚未计入后续独立重复评测。

〓 现有研究的评测局限与统一实验设计

GRPO 仍难被全面超越

在 2B 模型的 ALFWorld 任务中，Skill-SD 的成功率达到 74.29%，GRPO 只有 28.48%。两者相差超过 45 个百分点。

〓 家庭任务与科学任务的完整实验结果

但在 WebShop 上，Skill-SD 的表现完全不同。4B 和 9B 模型的成功率均为 0%，对应的 GRPO 分别达到 66.02% 和 70.02%。

同一种方法，在某项任务上明显领先，换个模型规模和任务环境就可能失去优势。

〓 检索问答与网页购物的完整实验结果

将 12 组设置的不同任务指标等权汇总，PCSD 以 54.26 排在第一，AgentOPSD 为 51.34，GRPO 以 49.68 位列第三。

10 种自蒸馏方法中，只有前两者的综合均值超过了 GRPO。

综合第一的 PCSD，对 GRPO 是 6 胜、5 负、1 平，却没在任何一组模型与任务设置的总体指标中排到第一。

ICSD 则在 7 组设置中赢过 GRPO，综合均值反而只有 44.75。它在 4B WebShop 上的成功率为 0%，一次严重失利就足以抵消其他场景里的多次小幅领先。

〓 各方法的综合成绩及相对 GRPO 的胜负情况

这些结果也解释了 GRPO 为什么仍然重要。自蒸馏可以在特定条件下大幅涨分，但要在不同任务和模型规模上稳定超过这条基线，远没有几组亮眼数字看起来那么容易。

高分背后的训练崩盘

只看最终成绩，很难判断训练过程是否稳定。研究团队记录了全部 132 次训练的验证曲线。把训练全过程的表现与最终成绩分别排名，结果出现了明显差异。

按训练期间的验证曲线下面积（AUC）计算，OCSD 排第一，最终成绩却只排第四。

AgentOPSD 最终成绩排第二，AUC 却排第九。训练末尾拿高分，并不代表之前的每个阶段都表现出色。

〓 不同模型与任务设置下的训练验证曲线

4B ALFWorld 的训练曲线尤其能说明问题。AgentOPSD 在第 35 步已有 60.0% 的验证成功率，随后连续 6 次验证都不超过 4.3%，第 100 步又回升至 79.3%。

同一设置下，GRPO+OPSD 没能从低谷恢复，训练结束时验证成功率仅有 2.1%，OCSD 则在达到 85.0% 的峰值后明显回落。

三种方法分别经历了崩盘后恢复、持续低迷和后期退步。训练能否保住已经获得的性能，同样值得关注。

〓 训练中途崩盘、恢复及后期退步的典型案例

还有一种容易忽略的差异来自解码方式。在 2B Search-QA 中，OVCSD 的同一个最终模型，贪心解码下的验证准确率只有 1.34%。

改用温度为 0.4 的重复采样评测，8 个随机种子的平均准确率达到 33.21%。

同一批测试问题，换了评测协议，得到的成绩就有如此明显的差别。跨论文比较时，解码设置也不能忽略。

同等算力下的性能反转

不同自蒸馏方法需要额外的教师打分、轨迹采样或优势计算。即便都训练 100 步，实际耗时也可能差很多。

〓 各方法的最终任务表现与净训练耗时

在 120 组与 GRPO 的对照中，112 组需要更多净训练时间，其中 58 组最终成绩反而更低，还有 7 组与 GRPO 持平。

综合成绩超过 GRPO 的 PCSD 和 AgentOPSD，平均训练耗时也分别增加约 17% 和 19%。

研究团队进一步把时间预算统一到各组 GRPO 的净训练耗时，再从已有训练记录中选取其他方法在预算内最后一次验证的成绩。

结果，一些原本领先的方法反而落后了。

以 ALFWorld 为例，AgentOPSD 在三档模型上训练满 100 步时，平均验证成功率达到 68.10%，比 GRPO 高出约 10 个百分点。

但在 GRPO 的训练时间预算内，它只能取得 37.63%。PCSD 在 WebShop 上也出现了类似反转，原本领先的成绩，在同等时间预算下被 GRPO 反超。

〓 固定训练步数与相同时间预算下的验证成绩

这些成绩放在一起，方法选择就不能只看最终涨了多少分。如果要付出明显更多的训练时间，提升的实际价值也得重新衡量。

结语

研究团队已经公开了 11 种方法的训练与评测代码，让这次比较有了一套可以复用的基础。

自蒸馏方法在部分场景中确实取得了明显提升，但 GRPO 仍是一条很难全面超越的基线。

今后再看到新的 Agent RL 方法报告涨分，除了最终成绩，训练是否稳定、需要多少算力，同样值得关注。

更多阅读

·