Megan Kinniment

本项目聚焦模型评估方法的研究与开发,尤其关注模型行为是否可监测,以及如何评估模型对齐情况。

研究小组概览

以下是我曾感兴趣的一些项目示例;等本期项目开始时,我的兴趣也可能有所变化:

  • 通过监督微调(SFT)、强化学习(RL)和脚手架方法,提升 METR 通用智能体的表现。(希望用较少投入排除能力大幅跃升的可能性。)
  • 模型似乎不太擅长评判自己生成的答案质量。这是否构成能力瓶颈?如果是,能否建立一个基准测试,让模型只需判断某段智能体执行轨迹本应获得的分数,从而省去运行完整任务集?
  • 如何把模型的 X% 时间跨度换算成“人类完成某项任务时预期能获得的提速”?
  • 如何建模智能体在多步骤任务上的表现?例如,Toby Ord 的恒定风险率模型等思路看起来很有启发,但在某些方面与我们的数据不符。
  • 构建智能体式密谋行为评估,例如测试模型是否会选择破坏产品,以及规避或干扰监测。
  • 哪些根本性弱点限制了模型,使其尚未具备危险能力?我们该如何检验这些弱点?

项目期间的工作地点:

SF Bay Area

导师

Megan Kinniment
METR
,
技术团队成员
AI Control and Monitoring
Capability and Propensity Evaluations

我在 METR 担任研究员。

​

我认为,AI 的发展会让世界经历一段充满不确定性的时期。我希望提供可靠的证据和方法,帮助人们追踪 AI 的发展与风险,让人类能够据此作出审慎决策。

​

我曾担任过不同职务,包括负责任务开发和监控工作流。我喜欢尝试设计新型评估,也认为阅读模型对话记录很有价值。我关注胜任的智能体需要具备哪些能力,以及当前 AI 智能体为何还做不到。我很庆幸能投入时间去理解这些模型。

​

此前,我曾在 Centre on Long-Term Risk 和 FHI 工作。更早之前,我在大学学习物理,并参与疟疾诊断研究。

阅读更多

我们希望招收的学员

不同背景的人都可能适合这个项目。

​

我们希望你:

  • 喜欢快速推进工作,具备一定的“务实行动力”
  • 主动、有主见,能自行排除障碍,也知道何时寻求帮助
  • 乐于尝试自己或他人此前都没做过的事
  • 具备基本编程能力,例如会用 Git、Python 和 Bash,了解 uv
  • 能写出较为整洁、便于其他研究人员接手的代码
  • 有一定研究经验;研究经验范围可以很广,也可以是独立研究
  • 愿意阅读智能体的交互记录,或对此感兴趣
  • 对这些模型有兴趣或好奇心
  • 有兴趣了解 METR 这个组织,以及如何更好地实现我们的目标
  • 有热情总是加分

具备以下部分经验会很有帮助,但不是必需条件:

  • 有黑盒评估经验
  • 有一定研究经验;研究经验范围可以很广,也可以是独立研究
  • 有白盒评估技术经验
  • 有构建模型生物的经验
  • 有网络安全经验

​

项目遴选

我会提供一份可选项目清单,并和学员讨论各个方向,再共同作出决定。

学员也可以提出自己的项目想法。