自动发现奖励模型中的偏差

MATS 学员:

Atticus Wang

作者:

Atticus Wang, Iván Arcuschin, Arthur Conmy

引用次数

0 Citations

摘要:

奖励模型是大语言模型(LLM)后训练的核心组成部分。但已有研究表明,它们可能会奖励长度、格式、幻觉和谄媚等无关或不良特征。本文提出并研究了一个问题:如何自动发现自然语言中的奖励模型偏差?我们采用一种简单方法,让 LLM 反复提出并完善候选偏差。该方法既能找回已知偏差,也能发现新偏差。例如,我们发现,领先的开放权重奖励模型 Skywork-V2-8B 经常错误地偏好多余空格,以及包含幻觉内容的回答。此外,我们提供证据表明,迭代式演化搜索优于直接的 best-of-N 搜索,并通过人工植入的合成偏差验证了流程的召回率。我们希望这项工作能推动使用自动化可解释性方法改进奖励模型的后续研究。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

八月 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

八月 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?