我希望指导一些运用简单可解释性方法、研究模型如何泛化的项目。以下是一些示例:
“研究角色表征”:从预训练数据中筛选引号内的文本和/或论坛帖子,分析预训练模型如何表征这些内容,以及其中哪些维度最重要(可使用类似 SAE 的方法,也可以采用更简单的方法)。再研究这些方向对模型行为的因果影响。
“研究目标表征”:从预训练数据中筛选描述多步行动序列的内容(例如 WikiHow、操作指南和说明手册),分析预训练模型如何表征这些内容,以及其中哪些维度最重要。再研究这些方向对模型行为的因果影响。
“读取特征与写入特征”:预训练 LLM 会推断哪些特征与文本生成过程有关(读取),并据此计算用于预测后续文本的特征(写入)。可以用随机偏置向量引导模型激活,作为“写入”特征的替代,再对模型采样生成 token。随后测量未受引导的模型在这些采样 token 上的激活,并与未受引导模型直接采样得到的结果比较,作为基线;借此刻画“写入”特征到“读取”特征的映射几何结构。
“研究支撑强化学习泛化的表征”:使用混合提示词分布,通过强化学习训练模型,并设置不同的奖励信号:一类奖励在不同提示词分布间有所变化,另一类则保持一致。两种训练方式会带来不同的泛化表现吗?如果会,能否从机制层面用表征来解释?
SF Bay Area
我是 Anthropic 的可解释性研究员,最关注能够切实提升模型安全性的简单实用方法。更早之前,我曾是一名神经科学家。
必备条件:
优先考虑:
我们会在项目开始时一起梳理可选方向,学员也可以提出其他想法。学员应在最初一两周探索不同项目,并在第二周确定研究方向。