生物安全方向支持先进 AI 与灾难性生物风险交叉领域的研究。我们设立这一方向,是因为风险格局已经发生变化:生物基础模型、越来越能提升湿实验能力的 LLM,以及 AI 加速的设计工具,正在大幅缩短相关能力成熟的时间,而现有的生物安全体系尚未准备好应对这些变化。我们希望学员开展扎实的技术研究,并有望在未来 6 至 12 个月内切实改变风险走向。
本方向涵盖六个研究领域。我们会根据契合度为学员匹配导师,并规划项目,让学员在项目结束前产出具体成果,例如论文、评估、原型或政策分析。
我们希望学员认真考虑信息危害,并遵守发表与披露规范。项目初期,导师会与学员共同梳理这些要求。优秀申请者可能来自多种背景,包括生物学、AI 安全、公共卫生、流行病学、机器学习、工程、化学、生物安全、国家安全等。如果不确定自己的背景是否合适,也欢迎申请,并说明你如何理解相关威胁模型。相比资历,我们更看重你的推理过程。
该研究流将通过实证项目评估 AI 滥用带来的国家安全威胁(包括化学、生物、放射性和核恐怖主义及网络攻击),并改进危险能力评估。威胁建模方向希望申请者保持审慎、乐于开展案例分析,并具备出色的书面沟通能力。评估方向希望申请者能够积极参与,帮助验证一些概念,例如在 AI 滥用情境下模型是否存在“藏拙”评估缺口。
通常包括每周会面、对草稿提供详细意见,以及异步沟通。
For threat modeling work:
For evaluations, mitigations, and verification work:
导师会与学员讨论项目想法。
AI 与生物安全相关项目将研究生物数据、生物 AI 模型及其与通用 AI 系统的相互作用,推动干预措施走向成熟,并减少战略和技术层面的不确定性。部分项目也可能直接为 Sentinel 的 AI 与生物安全战略及资源配置提供依据。
我感兴趣的工作需要多种技能组合,既包括技术能力,也包括政策相关能力。
我的研究聚焦于如何评估先进 AI 系统在生物安全及化学、生物、放射性和核(CBRN)风险方面的能力。我尤其关注如何将技术证据转化为政府和前沿 AI 开发者可据以决策的信息。在这个研究方向中,我希望开发新型能力评估方法,研究危险或双重用途能力如何扩散到越来越容易获取的模型,并构建可扩展的红队测试方法:在不进行高风险现实演示的前提下,产出严谨且有助于决策的证据。
MATS 项目是一项为期 10 周的研究奖学金计划,旨在培养和支持从事 AI 对齐、透明度和安全研究的新兴研究者。学员将与世界一流的导师合作,获得专门的研究管理支持,并加入位于伯克利、致力于推动安全、可靠 AI 发展的活跃社群。项目提供必要的架构、资源和指导,帮助学员产出有影响力的研究成果,并开启长期的 AI 安全职业生涯。
MATS 导师来自 AI 安全、对齐、治理、领域建设和系统安全等多个方向,都是各自领域的资深研究者。导师包括学界人士、业界研究人员及独立专家。他们会指导学员开展研究、提供反馈,并支持学员成长为研究者。导师的专业领域涵盖:
查看 往届及现任导师
关键日期
申请:
主项目将于 9 月 28 日至 12 月 4 日进行,获选学员的延展阶段将于 12 月开始。
MATS 欢迎来自不同学术和专业背景的申请者:从机器学习、数学和计算机科学,到政策、经济学、物理学、认知科学、生物学和公共卫生;也欢迎没有传统研究背景的创业者、运营人员和领域建设者。主要要求是对 AI 安全有强烈的贡献意愿,并展现出技术能力、研究潜力或相关运营经验。有 AI 安全相关经验会有所帮助,但并非必要条件。