David Lindner

本研究方向聚焦监测、对安全方法进行压力测试和构建评估,尤其关注 AI 密谋带来的风险。项目示例包括黑盒 AI 控制方法、白盒监测器(如探针)、思维链监测与忠实度、构建评估环境,以及对缓解措施进行压力测试。

研究小组概览

我关注如何发现并缓解欺骗性对齐,主要通过能力评估和控制方法。希望指导以下方向的项目:

  • 开发评估,检测模型是否具备欺骗性推理能力
  • 研究外显推理对监督的帮助,包括思维链默认是否忠实、如何设计能促进思维链忠实度的架构,以及如何监测思维链
  • 控制研究,主要是在不同情境中模拟控制评估

项目期间的工作地点:

London

导师

David Lindner
Google DeepMind
,
研究科学家
Misalignment Science
AI Control and Monitoring
Capability and Propensity Evaluations
对齐训练方法

David Lindner 是 Google DeepMind 通用人工智能(AGI)安全与对齐团队的研究科学家,负责研究针对欺骗性对齐和密谋行为的评估与缓解方法。他近期的工作包括 MONA(一种减少强化学习过程中多轮奖励钻空子行为的方法)、设计针对隐蔽行为和情境意识的评估,以及参与制定 Google DeepMind 对欺骗性对齐的应对方案。目前,他关注密谋行为的缓解方法,包括思维链监控和 AI 控制。更多信息见个人网站。

阅读更多

我们希望招收的学员

我希望招募机器学习工程能力强、并具备技术研究背景的学员。我会每周提供研究指导,但大多数时候,学员应能相对独立地开展实验并决定具体实现细节。我会提出具体项目供学员选择,因此不应期待在 MATS 期间开展自己的研究想法。我非常鼓励方向内合作,通常每个项目会由两到三位学员组成团队,因此沟通与团队协作能力很重要。

项目遴选

我们很可能会先共同选择项目:介绍一系列备选项目,学员也可以进一步完善这些想法。之后每个项目至少会有一位主要导师;部分项目也可能安排共同指导。