评估并改进 LLM 对分布外对齐失败的监控

MATS 学员:

Dylan Feng

作者:

Dylan Feng, Pragya Srivastava, Anca Dragan, Cassidy Laidlaw

引用次数

Citations

摘要:

大型语言模型(LLM)的许多安全和对齐失效,源于分布外(OOD)情境:模型开发者未预料到的提示或回复模式。我们提出 MOOD(分布外失配)基准,系统研究 LLM 监控流程能否发现这些 OOD 对齐失效。要找到对现成模型而言真正分布外的失效并不容易,因为这些模型已在海量安全数据上训练。为解决这一问题,MOOD 提供一个受限训练集供我们训练监控器,并包含七个涵盖不同对齐失效的测试集,确保测试情境不在训练分布之内。通过 MOOD,我们发现安全分类器往往无法泛化到分布外情境。为此,我们提出将安全分类器与 OOD 检测器结合。我们测试了四类 OOD 检测器,发现把安全分类器与马氏距离及基于困惑度的 OOD 检测器组合,可将召回率从 39% 提升至 45%。我们还发现,随着模型规模增大,结合安全分类器和 OOD 检测器的监控器表现持续提升;将 OOD 检测纳入监控所带来的召回率提升,高于单独使用参数量大 20 倍的安全分类器。研究表明,OOD 检测应成为 LLM 监控的关键组成部分,也为后续研究这一重要问题奠定了基础。

实验代码和数据已公开,相关链接见此处。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

八月 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

八月 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?