Dan Mossing

本项目关注语言模型如何形成支撑泛化能力的内部表征,例如关于角色、目标或训练数据组成部分的表征。

研究小组概览

我希望指导一些运用简单可解释性方法、研究模型如何泛化的项目。以下是一些示例:

​

“研究角色表征”:从预训练数据中筛选引号内的文本和/或论坛帖子,分析预训练模型如何表征这些内容,以及其中哪些维度最重要(可使用类似 SAE 的方法,也可以采用更简单的方法)。再研究这些方向对模型行为的因果影响。

​

“研究目标表征”:从预训练数据中筛选描述多步行动序列的内容(例如 WikiHow、操作指南和说明手册),分析预训练模型如何表征这些内容,以及其中哪些维度最重要。再研究这些方向对模型行为的因果影响。

​

“读取特征与写入特征”:预训练 LLM 会推断哪些特征与文本生成过程有关(读取),并据此计算用于预测后续文本的特征(写入)。可以用随机偏置向量引导模型激活,作为“写入”特征的替代,再对模型采样生成 token。随后测量未受引导的模型在这些采样 token 上的激活,并与未受引导模型直接采样得到的结果比较,作为基线;借此刻画“写入”特征到“读取”特征的映射几何结构。

​

“研究支撑强化学习泛化的表征”:使用混合提示词分布,通过强化学习训练模型,并设置不同的奖励信号:一类奖励在不同提示词分布间有所变化,另一类则保持一致。两种训练方式会带来不同的泛化表现吗?如果会,能否从机制层面用表征来解释?

项目期间的工作地点:

SF Bay Area

导师

Dan Mossing
Anthropic
,
技术团队成员
Interpretability
Misalignment Science

我是 Anthropic 的可解释性研究员,最关注能够切实提升模型安全性的简单实用方法。更早之前,我曾是一名神经科学家。

阅读更多

我们希望招收的学员

必备条件:

  • 具备一定研究经验
  • 具备一定 Python 软件工程经验
  • 对机制可解释性有基本了解
  • 具备线性代数和统计学基础
  • 有好奇心,能够独立开展工作
  • 愿意快速迭代

​

优先考虑:

  • 有使用 PyTorch 训练模型的经验
  • 有论文写作经验

项目遴选

我们会在项目开始时一起梳理可选方向,学员也可以提出其他想法。学员应在最初一两周探索不同项目,并在第二周确定研究方向。