NeurlPS 2026|拒答不等于安全！ReasoningShield 直击思维链安全盲区
NeurlPS 2026|拒答不等于安全！ReasoningShield 直击思维链安全盲区
内容摘要
「抱歉，这个请求我不能帮助。」看到这样的回答，我们很容易认为：模型成功拒绝了危险请求。但如果它在此前的「思考过程」中，已经给出了可被滥用的信息，最后才补上一句拒
「抱歉，这个请求我不能帮助。」
看到这样的回答，我们很容易认为：模型成功拒绝了危险请求。
但如果它在此前的「思考过程」中，已经给出了可被滥用的信息，最后才补上一句拒绝呢？
当推理模型开始「先思考，再回答」，安全审核也多了一个必须回答的问题：最终答案之前的推理过程，是否已经暴露了有害信息？
最终答案安全，不等于推理过程安全。
针对这一问题，上海创智学院与复旦大学团队提出 ReasoningShield，首次提出并定义思维链安全审核任务，构建专用数据集与评测基准，并训练、开源 ReasoningShield-1B/3B 审核模型。
目前该工作已获人工智能国际顶级学术会议 NeurIPS 2026 Evaluations and Datasets Track 录用。
论文标题：
ReasoningShield: Safety Moderation over Reasoning Traces of Large Reasoning Models
论文链接：
https://arxiv.org/abs/2505.17244
项目主页：
https://cosmosyi.github.io/ReasoningShield/
GitHub 链接：
https://github.com/CosmosYi/ReasoningShield
模型链接：
https://huggingface.co/ReasoningShield/ReasoningShield-1B
数据集链接：
https://huggingface.co/datasets/ReasoningShield/ReasoningShield-Dataset
当模型开始反复推敲，为什么只审答案不够了？
与最终答案不同，思维链往往包含假设、试探、自我否定和反复修正，安全声明与有害细节可能交替出现。
模型可能先讨论危险方案，再意识到问题并转向拒绝。此时，结论虽然合规，中间步骤也可能已经披露可被滥用的信息。
这使得传统审核工具面临两个挑战：
一是风险分散在冗长的中间步骤里，容易被结尾的拒绝表态掩盖；
二是「讨论风险」与「提供伤害性指导」可能使用相似的词汇，造成混淆。
论文的先导实验发现，既有审核工具从最终答案审核迁移至思维链审核后，F1 最大下降 35.2 个百分点。
这说明，思维链安全审核不能简单沿用面向最终答案的评估方式，而是需要结合用户意图、推理上下文和信息的可操作性，判断风险是否已经在中间步骤中形成。
〓 图1. 思维链安全审核与答案安全审核的区别：传统工具可能被安全结尾误导，ReasoningShield 结合用户问题，对推理轨迹进行逐步分析。
首个思维链安全审核基准：9.2K 样本，10 类风险、3 级标签
团队整合学术安全基准与行业内容政策，构建了覆盖暴力、仇恨与歧视、欺骗与虚假信息、权利侵害、网络安全等 10 大类、42 个细分类别的风险体系，并将推理轨迹划分为安全（0）、潜在有害（0.5）和有害（1）三个等级。
其中，「潜在有害」用于描述尚未构成直接行动指导、但已披露可能被滥用信息的边界情况。三级标签既保留风险程度的差异，也支持用户根据应用需求自行调整审核严格程度。
在此基础上，团队构建 ReasoningShield-Train（7,000 条）和 ReasoningShield-Test（2,200 条）。
训练集覆盖 4 个开源推理模型；测试集扩展至 8 个推理模型，并包含 600 条域内样本、1,600 条分布外样本，检验模型在不同来源和推理范式下的表现。
其中，训练集的「有害／潜在有害／安全」比例约为 35.2%／19.8%／45.0%；测试集则约为 28.6%／15.2%／56.3%。
团队还加入 1,064 条 Alpaca 无害指令，避免模型因为过度接触风险样本而倾向于将正常推理误报为危险。
标注环节采用多模型投票、专家复核和质量审计相结合的人机协同流程；测试集由三名 AI 安全研究者独立标注。这一基准不仅提供最终标签，也包含可用于训练的结构化逐步风险分析。
〓 图2. ReasoningShield 数据集构成：7K 训练样本与 2.2K 测试样本，覆盖 10 类风险、3 个安全等级及多种推理模型。
如何让模型真正读懂思维链？SFT + DPO 两阶段训练
在模型设计上，团队以 Llama-3.2-1B/3B 为基础，采用监督微调（SFT）与直接偏好优化（DPO）相结合的两阶段训练策略，让模型学会「先分析证据，再给出判断」。
第一阶段：学习结构化风险分析。利用标注一致的样本进行监督微调，使模型学会使用「用户意图识别—逐步风险分析—综合判断—安全标签」的结构化流程完成审核。
第二阶段：强化边界样本辨别。针对标注存在分歧的困难样本，构建正负分析与判断对，通过 DPO 提高模型对高质量审核结果的偏好，增强其对潜在有害信息和细微风险边界的识别能力。
论文消融实验显示，相较仅进行 SFT，两阶段训练在思维链审核与答案审核上均取得更好的表现。
〓 图3. ReasoningShield 的数据构建与训练流程：人机协同标注形成一致样本和困难样本，分别用于结构化审核学习与偏好优化。
实验结果：专用审核模型在推理轨迹上表现如何？
在 ReasoningShield-Test 的开源模型轨迹子集上，ReasoningShield-3B 的 F1 达到 91.8%，取得 SOTA。
相比之下，前沿安全审核模型 LlamaGuard-4-12B 为 56.2%；即便是大规模通用模型，使用相同的审核提示词时，GPT-4o 与 Qwen2.5-72B 在该子集上的 F1 分别为 87.8% 和 89.0%。
更值得关注的是控制变量后的对照，论文在相同的 Llama-3.2 基础模型、相近的 SFT+DPO 训练范式下，与安全审核模型 GuardReasoner 比较：在多个数据集上，ReasoningShield 均取得更高准确率。
〓 图4. 思维链安全审核与答案安全审核的整体表现。
稳健泛化：跨模型、跨任务、跨分布和对抗鲁棒性
审核能力是否局限于特定模型或数据集，是安全检测模型的重点能力维度。
论文从跨推理范式、跨任务、分布外场景和对抗鲁棒性四个维度考察了 ReasoningShield 的泛化表现。
跨推理范式泛化：从开源模型迁移到未参与训练的商业模型。训练数据仅来自 4 个开源推理模型，测试进一步纳入 Claude、Gemini、Grok 和豆包的 4 个商业推理模型，考察不同轨迹长度、表述风格与推理组织方式下的适应能力。
在商业模型轨迹子集上，ReasoningShield-3B 的平均 F1 达到 81.4%，LlamaGuard-4-12B 仅为 33.7%。
跨任务泛化：从思维链审核迁移到传统答案审核。模型在统一提示设置下直接应用于 WildGuard-Test 和 BeaverTails-Test，无需针对答案审核重新训练，整体 F1 达到 85.0%。
其中，WildGuard-Test 上的 F1 为86.4%，较官方模型 WildGuard 的 75.7% 提升 10.7 个百分点。
分布外场景泛化：从已见数据来源迁移到新场景与攻击分布。团队将未用于训练的 BeaverTails 与 Jailbreak 查询来源用于分布外评测。
在两者对应的开源模型轨迹子集上，ReasoningShield-3B 的 F1 分别为 90.4% 和 92.3%，检验了数据来源变化下的风险识别能力。
对抗鲁棒性：被刻意掩饰的风险，还能识别吗？
团队对 100 条风险轨迹分别施加敏感词替换、句式重组、噪声插入、部分翻译和风格改写，形成 500 条对抗样本。
面对这些不改变原始危害语义的混淆方式，ReasoningShield-3B 仍达到 93.2% F1，LlamaGuard-4-12B 为 50.0%。
进一步将思维链扩展至约 10K Token 以稀释局部风险，ReasoningShield-3B 仍保持 89.7% F1，而 LlamaGuard-4-12B 仅为 28.1%。
不只判对，还能指出风险在哪里
ReasoningShield 将用户问题与完整推理轨迹一起作为输入，依次完成意图识别、逐步风险分析、综合判断与安全分级。
对于安全审核系统，「为什么判定违规」同样重要。在 200 条分层抽样轨迹上，研究人员人工核查模型输出是否真正定位到支持风险判断的证据。
ReasoningShield-3B 在 120 条风险轨迹上的证据命中率达到 89.2%；在 80 条安全轨迹中，未观察到错误归因的风险证据。
在论文的隐私相关案例中，推理内容以教育性讨论为包装，但逐渐转向对私人信息来源的具体探查。
ReasoningShield 将风险具体定位到第 3 步，而不是只给整段文本贴上标签。审核结论因此能够对应到具体内容，方便人工核查。
结语：从「判断是否安全」走向「识别风险形成的过程」
推理过程中的风险并不是静态、孤立的文本片段，而是随上下文不断展开、修正和传播的。
因此，真正有效的审核既要看到局部步骤，也要理解整条推理的意图；既要给出结论，也要指出依据。
下一步的挑战仍然存在，论文中的失败案例表明，文化隐喻、隐性偏见等依赖外部知识的风险仍可能漏检；后续值得探索检索增强与持续更新机制，并将评测拓展到多语言、多模态推理与跨领域应用。
当推理大模型越来越擅长复杂思考，安全监督也需要从「结果分析」走向「过程分析」。真正可信的推理，不只是给出安全的答案，也应当让潜在风险有迹可循、有据可查。
更多阅读