MATS 导师正在拓展 AI 对齐、透明度和安全研究的前沿

Sara Price
Anthropic
,
技术团队成员
—

Sara Price 在 Anthropic 负责对齐训练。她的研究关注如何让对齐训练可靠地泛化,包括减少智能体错位风险的方法。

研究方向:
实证研究
Capability and Propensity Evaluations, Adversarial Robustness and Safeguards, Misalignment Science, Alignment Training Methods

Roger Grosse 是 University of Toronto 的计算机科学副教授,也是 Anthropic 对齐科学团队成员,研究训练数据归因。他在 MIT 获得计算机科学博士学位。

研究方向:
实证研究
Adversarial Robustness and Safeguards, Misalignment Science, Alignment Training Methods, Interpretability

Xander Davies 是英国 AI 安全研究所的技术团队成员,负责领导红队测试小组。该团队运用对抗性机器学习技术来理解、攻击并改进前沿 AI 防护措施。他还在 Oxford 攻读博士,导师是 Yarin Gal 博士。此前,他在 Harvard 学习计算机科学,并创立和领导了 Harvard AI Safety Team。

研究方向:
实证研究
AI Control and Monitoring, Capability and Propensity Evaluations, Adversarial Robustness and Safeguards, AI Systems Security
Maksym Andriushchenko
ELLIS Institute Tübingen
,
首席研究员(AI 安全与对齐组)
—

我在 ELLIS Institute Tübingen 和 Max Planck Institute for Intelligent Systems 担任首席研究员,并领导 AI 安全与对齐组。我还担任新一版《国际 AI 安全报告》的章节负责人;该报告由 Yoshua Bengio 教授主持编写。我曾与该领域多家领先机构合作开展 AI 安全研究,包括 OpenAI、Anthropic、UK AI Security Institute、Center for AI Safety 和 Gray Swan AI。我于 2024 年在 EPFL 获得机器学习博士学位,导师是 Nicolas Flammarion 教授。我的博士论文获得 EPFL 计算机科学系最佳论文 Patrick Denantes Memorial Prize,并获 Google 和 Open Phil 的 AI 博士奖学金支持。

研究方向:
实证研究
AI Control and Monitoring, Capability and Propensity Evaluations, Adversarial Robustness and Safeguards, Misalignment Science, Technical AI Governance, AI Systems Security
Sarah Schwettmann
Transluce
,
联合创始人兼首席科学家
—

我在 MIT 计算机科学与人工智能实验室(CSAIL)和 MIT-IBM Watson AI Lab 担任研究科学家。我在 MIT 攻读脑与认知科学博士期间,获得 NSF 研究奖学金,并师从 Josh Tenenbaum 和 Antonio Torralba。我的研究关注人工神经网络(以及此前的生物神经网络)中支撑智能的表征。

研究方向:
实证研究
AI Control and Monitoring, Adversarial Robustness and Safeguards, Misalignment Science, Interpretability

Jacob Hilton 是 Alignment Research Center(ARC)的研究员。该非营利组织致力于机制可解释性的理论基础研究。他此前在 OpenAI 从事基于人类反馈的强化学习、缩放定律和可解释性研究。他拥有纯数学背景,并在英国 University of Leeds 获得集合论博士学位。

研究方向:
Theory
Interpretability, Theoretical Alignment and Formal Methods

Eli 在 AI Futures Project 从事 AI 情景预测,并与他人合著了 AI 2027。他还为 Sage 提供建议。Sage 是他共同创立的组织,负责开发 AI Digest(交互式 AI 解读)和预测工具。此前,他曾参与 AI 研究助理 Elicit 的工作。

研究方向:
战略与预测
Policy and Governance, Forecasting and Strategy, Structural Risk and Societal Dynamics

Michael Chen 担任加州州长紧急服务办公室(Cal OES)的 AI 科学顾问,为高级管理层提供前沿 AI 安全与风险评估建议,尤其关注重大安全事件、AI 与网络防御,以及开发者内部部署 AI 所带来的风险,例如 AI 智能体实施破坏或自动化 AI 研发。作为科学顾问,他与加州各州政府部门的 AI 治理负责人协调,并推动学术界、私营部门、社区和非营利组织开展跨领域合作。

​

此前,Michael 曾在 METR 从事基于评估的 AI 治理工作。METR 是一家位于加州的独立非营利机构,评估自主 AI 智能体的能力与风险。他曾为领先 AI 开发者提供建议,协助建立评估、缓解并透明披露灾难性 AI 风险的框架;也参与第三方评估,包括审阅开发者关于 AI 智能体破坏风险的报告,并整理 AI 智能体偏离操作者意图的事件案例。他还与美国政府机构合作开展前沿 AI 评估,包括国家标准与技术研究院(NIST)下属的人工智能标准与创新中心(CAISI)。他曾在加州大学伯克利分校人类兼容 AI 中心研究如何让语言模型学习人类偏好。他关于 AI 的研究和评论曾见于《时代》、The Guardian 和《麻省理工科技评论》。Michael 目前在牛津大学兼读博士,同时也是 Oxford Martin AI Governance Initiative 的研究成员。

研究方向:
实证研究
Capability and Propensity Evaluations, Policy and Governance, Technical AI Governance
Tomek Korbak
OpenAI
,
技术团队成员
—

我目前是 OpenAI 的技术团队成员,负责监控 LLM 智能体是否出现不对齐行为。此前,我曾在英国 AI 安全研究所研究 AI 控制和安全案例,也曾在 Anthropic 从事诚实性后训练研究。再之前,我在 Chris Buckley 和 Anil Seth 指导下于 University of Sussex 攻读博士,研究基于人类反馈的强化学习(RLHF);期间还曾访问 NYU,与 Ethan Perez、Sam Bowman 和 Kyunghyun Cho 合作研究。

研究方向:
实证研究
AI Control and Monitoring, Misalignment Science, Alignment Training Methods

Stephen “Cas” Casper 是一名计算机科学家,在 Harvard Kennedy School 担任公共政策助理教授,也是 Harvard School of Engineering and Applied Sciences 的教员附属成员。加入 Harvard 之前,他在 MIT 获得博士学位,并在 UK AI Security Institute 完成研究驻留。他为《国际 AI 安全报告》撰稿,并担任《新加坡共识》主笔。他的研究曾获Hoopes Prize、ML Safety Workshop 最佳论文奖、BioSafeGenAI 最佳论文亚军、GenLaw 重点论文奖、TMLR 杰出论文入围奖,并多次被新闻报道和通讯提及。你可以在 Google Scholar、Twitter(抱歉)、BlueSky 和 LinkedIn 找到他。

研究方向:
政策与治理
Adversarial Robustness and Safeguards, Alignment Training Methods, Policy and Governance, Technical AI Governance

常见问题解答

什么是 MATS 项目?
MATS 导师是谁?
MATS 项目的关键日期有哪些?
谁有资格申请?
申请和导师选择流程是怎样的?