构建更好的激活值解读器

MATS 学员:

Jan Bauer, Celeste De Schamphelaere

作者:

Jan Bauer, Celeste De Schamphelaere, Adam Karvonen, Niclas Luick, Neel Nanda

引用次数

Citations

摘要:

激活值解读器(AO)有望用于解释残差流中的激活值,但当前方法存在幻觉和表述含糊等问题。此外,文本反演造成的评估混杂也让 AO 难以评估。为此,我们从四个方面改进 AO 的训练流程:使用符合当前策略的生成轨迹、改进对话数据集、输入更多层的激活值,以及改进注入公式。模型能力的提升幅度有限,但使用体验和质量方面的改善相当明显。此外,我们开源了首个全面评估 AO 质量的评测套件,称为 AObench。我们希望这项工作能为改进 AO 及其他可扩展、端到端可解释性范式中的模型奠定基础。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

八月 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

八月 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?