Sara Price 在 Anthropic 负责对齐训练。她的研究关注如何让对齐训练可靠地泛化,包括减少智能体错位风险的方法。
Roger Grosse 是 University of Toronto 的计算机科学副教授,也是 Anthropic 对齐科学团队成员,研究训练数据归因。他在 MIT 获得计算机科学博士学位。
Xander Davies 是英国 AI 安全研究所的技术团队成员,负责领导红队测试小组。该团队运用对抗性机器学习技术来理解、攻击并改进前沿 AI 防护措施。他还在 Oxford 攻读博士,导师是 Yarin Gal 博士。此前,他在 Harvard 学习计算机科学,并创立和领导了 Harvard AI Safety Team。
我在 ELLIS Institute Tübingen 和 Max Planck Institute for Intelligent Systems 担任首席研究员,并领导 AI 安全与对齐组。我还担任新一版《国际 AI 安全报告》的章节负责人;该报告由 Yoshua Bengio 教授主持编写。我曾与该领域多家领先机构合作开展 AI 安全研究,包括 OpenAI、Anthropic、UK AI Security Institute、Center for AI Safety 和 Gray Swan AI。我于 2024 年在 EPFL 获得机器学习博士学位,导师是 Nicolas Flammarion 教授。我的博士论文获得 EPFL 计算机科学系最佳论文 Patrick Denantes Memorial Prize,并获 Google 和 Open Phil 的 AI 博士奖学金支持。
我在 MIT 计算机科学与人工智能实验室(CSAIL)和 MIT-IBM Watson AI Lab 担任研究科学家。我在 MIT 攻读脑与认知科学博士期间,获得 NSF 研究奖学金,并师从 Josh Tenenbaum 和 Antonio Torralba。我的研究关注人工神经网络(以及此前的生物神经网络)中支撑智能的表征。
Jacob Hilton 是 Alignment Research Center(ARC)的研究员。该非营利组织致力于机制可解释性的理论基础研究。他此前在 OpenAI 从事基于人类反馈的强化学习、缩放定律和可解释性研究。他拥有纯数学背景,并在英国 University of Leeds 获得集合论博士学位。
Eli 在 AI Futures Project 从事 AI 情景预测,并与他人合著了 AI 2027。他还为 Sage 提供建议。Sage 是他共同创立的组织,负责开发 AI Digest(交互式 AI 解读)和预测工具。此前,他曾参与 AI 研究助理 Elicit 的工作。
Michael Chen 担任加州州长紧急服务办公室(Cal OES)的 AI 科学顾问,为高级管理层提供前沿 AI 安全与风险评估建议,尤其关注重大安全事件、AI 与网络防御,以及开发者内部部署 AI 所带来的风险,例如 AI 智能体实施破坏或自动化 AI 研发。作为科学顾问,他与加州各州政府部门的 AI 治理负责人协调,并推动学术界、私营部门、社区和非营利组织开展跨领域合作。
此前,Michael 曾在 METR 从事基于评估的 AI 治理工作。METR 是一家位于加州的独立非营利机构,评估自主 AI 智能体的能力与风险。他曾为领先 AI 开发者提供建议,协助建立评估、缓解并透明披露灾难性 AI 风险的框架;也参与第三方评估,包括审阅开发者关于 AI 智能体破坏风险的报告,并整理 AI 智能体偏离操作者意图的事件案例。他还与美国政府机构合作开展前沿 AI 评估,包括国家标准与技术研究院(NIST)下属的人工智能标准与创新中心(CAISI)。他曾在加州大学伯克利分校人类兼容 AI 中心研究如何让语言模型学习人类偏好。他关于 AI 的研究和评论曾见于《时代》、The Guardian 和《麻省理工科技评论》。Michael 目前在牛津大学兼读博士,同时也是 Oxford Martin AI Governance Initiative 的研究成员。
我目前是 OpenAI 的技术团队成员,负责监控 LLM 智能体是否出现不对齐行为。此前,我曾在英国 AI 安全研究所研究 AI 控制和安全案例,也曾在 Anthropic 从事诚实性后训练研究。再之前,我在 Chris Buckley 和 Anil Seth 指导下于 University of Sussex 攻读博士,研究基于人类反馈的强化学习(RLHF);期间还曾访问 NYU,与 Ethan Perez、Sam Bowman 和 Kyunghyun Cho 合作研究。
Stephen “Cas” Casper 是一名计算机科学家,在 Harvard Kennedy School 担任公共政策助理教授,也是 Harvard School of Engineering and Applied Sciences 的教员附属成员。加入 Harvard 之前,他在 MIT 获得博士学位,并在 UK AI Security Institute 完成研究驻留。他为《国际 AI 安全报告》撰稿,并担任《新加坡共识》主笔。他的研究曾获Hoopes Prize、ML Safety Workshop 最佳论文奖、BioSafeGenAI 最佳论文亚军、GenLaw 重点论文奖、TMLR 杰出论文入围奖,并多次被新闻报道和通讯提及。你可以在 Google Scholar、Twitter(抱歉)、BlueSky 和 LinkedIn 找到他。
MATS 项目是一项为期 10 周的研究奖学金计划,旨在培养和支持从事 AI 对齐、透明度和安全研究的新兴研究者。学员将与世界一流的导师合作,获得专门的研究管理支持,并加入位于伯克利、致力于推动安全、可靠 AI 发展的活跃社群。项目提供必要的架构、资源和指导,帮助学员产出有影响力的研究成果,并开启长期的 AI 安全职业生涯。
MATS 导师来自 AI 安全、对齐、治理、领域建设和系统安全等多个方向,都是各自领域的资深研究者。导师包括学界人士、业界研究人员及独立专家。他们会指导学员开展研究、提供反馈,并支持学员成长为研究者。导师的专业领域涵盖:
查看 往届及现任导师
关键日期
申请:
主项目将于 9 月 28 日至 12 月 4 日进行,获选学员的延展阶段将于 12 月开始。
MATS 欢迎来自不同学术和专业背景的申请者:从机器学习、数学和计算机科学,到政策、经济学、物理学、认知科学、生物学和公共卫生;也欢迎没有传统研究背景的创业者、运营人员和领域建设者。主要要求是对 AI 安全有强烈的贡献意愿,并展现出技术能力、研究潜力或相关运营经验。有 AI 安全相关经验会有所帮助,但并非必要条件。