训练审慎型监控器以通过黑盒检测谋划行为

MATS 学员:

Akshat Naik

作者:

Aditya Sinha, Akshat Naik, Victor Gillioz, Simon Storf, Kilian Merkelbach, Rich Barton-Cooper, Axel Højmark, Marius Hobbhahn

引用次数

Citations

摘要:

随着自主智能体越来越能胜任现实任务,区分谋划行为与正常完成任务,可能会成为 AI 控制的核心问题。现有监控器通常依赖思维链、内部激活值或通过提示调用前沿模型;这些信息或能力在部署时可能无法获取、不够可靠或成本过高。本文研究仅分析行动的审慎型监控器:训练较小的开放权重模型,根据智能体的行动轨迹识别谋划和破坏行为,无须访问受监控智能体的推理或模型内部信息。我们的方法受到审慎式对齐的启发:先用谋划行为规范引导前沿教师模型生成结构化理由,再交由独立评审模型筛选,最后通过监督微调和强化学习,将质量最高的理由蒸馏到开放权重监控器中。我们在五个数据集上训练,并在六个分布外智能体失配基准上评估。结果表明,将该方法应用于 Qwen3.5-27B 后,其表现超过所有作为提示式监控器测试的低成本前沿模型(Gemini 3.1 Flash-Lite、GPT-5.4 Nano 和 Claude Haiku 4.5),也超过 Gemini 2.5 Pro;同时,按每千次评估的 token 计费美元计算,其边际推理成本更低。表现更强的提示式前沿监控器(Gemini 3.1 Pro、GPT-5.4、Claude Sonnet 4.6 和 Claude Opus 4.6)准确率更高,但边际推理成本约为其 16 至 34 倍。在我们评估的监控器中,有几种经过训练的监控器处于实测成本—性能帕累托前沿,因此可作为提示式前沿模型的低成本、低误报率替代方案。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

八月 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

八月 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?