OpenAI Control & Oversight

我们关注 AI 控制和可扩展监督。我很期待与学员合作开展实证项目,构建并评估针对 LLM 智能体的控制措施和监督技术,尤其是基于思维链监控的方法。我们也关注思维链可监控性、错位和控制的科学问题。理想情况下,项目最终能形成一篇投稿至 NeurIPS、ICML 或 ICLR 的论文。

研究小组概览

项目示例:

  1. 让 AI 智能体外显其认知过程,可通过多智能体架构中的信息瓶颈或训练技术实现
  2. 训练 AI 智能体,使其更加诚实
  3. 训练 AI 智能体生成更易监控的思维链记录
  4. 智能体监控器:能够采取行动、检索额外背景信息并询问受监督的智能体

项目期间的工作地点:

SF Bay Area

导师

Tomek Korbak
OpenAI
,
技术团队成员
Misalignment Science
AI Control and Monitoring
对齐训练方法

我目前是 OpenAI 的技术团队成员,负责监控 LLM 智能体是否出现不对齐行为。此前,我曾在英国 AI 安全研究所研究 AI 控制和安全案例,也曾在 Anthropic 从事诚实性后训练研究。再之前,我在 Chris Buckley 和 Anil Seth 指导下于 University of Sussex 攻读博士,研究基于人类反馈的强化学习(RLHF);期间还曾访问 NYU,与 Ethan Perez、Sam Bowman 和 Kyunghyun Cho 合作研究。

阅读更多
Micah Carroll
OpenAI
,
安全系统技术团队成员
Misalignment Science
AI Control and Monitoring
Capability and Propensity Evaluations
结构性风险与社会动态
对齐训练方法

Micah 是 OpenAI 安全团队的研究员,关注 AI 欺骗、可扩展监督和可监控性。他目前暂时离开加州大学伯克利分校的博士项目;该项目研究如何让 AI 与可影响其行为的人类对齐、强化学习训练可能导致的 AI 操纵,以及推荐系统的影响。

阅读更多
Miles Wang
OpenAI
,
技术团队成员
Misalignment Science
AI Control and Monitoring
Biosecurity
Capability and Propensity Evaluations
对抗鲁棒性与安全防护

Miles Wang 是 OpenAI 的研究员,研究兴趣涵盖对齐、评估、推理和科学。2024 年 3 月加入 OpenAI 之前,他曾在哈佛大学学习计算机科学。

阅读更多

我们希望招收的学员

理想的学员具备扎实的 AI 研究和/或软件工程背景。学员可以是博士生,也可以开展能够纳入博士论文的研究项目。

项目遴选

我会与学员讨论项目想法。