MATS 学员:
Pierre Beckmann
作者:
Pierre Beckmann, Patrick Butlin
引用次数
摘要:
大语言模型的个体划分问题在于:与模型相关的哪些实体(如果有的话)应被视为心智?我们从机制可解释性出发研究这一问题,特别结合近期有关角色向量、角色空间和涌现失配的实证工作。我们认为最有力的候选观点有三种:虚拟实例观点,以及我们提出的两种新观点——(虚拟)实例—角色观点和模型—角色观点。首先,我们论证虚拟实例观点,理由是注意力流会在 token 时间线上维持近似心理连续的联系。接着,我们梳理角色研究,将其归纳为关于 LLM 内部角色结构的三种假说,并说明另外两种基于角色的观点是很有前景的替代方案。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。