用于检测 LLM 智能体谋划行为的宪法式黑盒监控

MATS 学员:

Simon Storf, Rich Barton-Cooper

作者:

Simon Storf, Rich Barton-Cooper, James Peters-Gill, Marius Hobbhahn

引用次数

1 Citations

摘要:

要在自主场景中安全部署大语言模型(LLM)智能体,需要可靠的监督机制。一个核心挑战是检测谋划行为,即智能体暗中追求失配目标。一种缓解风险的方法是使用基于 LLM 的监控器,根据外部可观察到的输入和输出来检查智能体行为是否可疑。我们研究宪法式黑盒监控器:根据自然语言行为规范生成合成数据,并用其优化提示式分类器;监控器仅能访问外部可观察到的输入和输出。我们提出两种生成合成智能体轨迹的流程:迭代优化式 STRIDE 和智能体—环境模拟式 Gloom,并分别用两者生成 1,000 个样本。我们通过提示词扫描、人工优化和自动提示优化来调整前沿 LLM 监控器,并在 ControlArena 的 7,500 条留出轨迹上评估。ControlArena 包含更贴近现实的真实环境,智能体会在其中执行任务。结果表明,仅根据合成数据挑选出的监控器也能泛化到更真实的环境,并捕捉到有意义的谋划信号。不过,在我们的设置中,性能很快达到上限:简单的提示词扫描就能匹配更复杂的优化结果。继续优化没有带来改进,反而导致过拟合。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

August 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

August 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?