实证研究

本方向涵盖通过机器学习实验开展的实践研究,旨在理解并提升模型安全性,包括 AI 控制、可解释性、可扩展监督、评估、红队测试和鲁棒性。它以研究方法而非单一研究议题为界。如果你主要运用机器学习工程方法,这个方向适合你。

‍

Application process

  • 第一阶段:完成通用申请
  • 第二阶段第一部分:完成 1 至 2 项评估研究判断力和技术实现能力的测评,并可能需要提供推荐人信息
  • 第二阶段第二部分:回答研究流方向选择问题
  • 第三阶段:参加面试和工作测试

实证研究 track overview

本方向以研究方法而非单一议题为核心。学员通过机器学习实验,理解并提升前沿模型的安全属性,课题涉及可解释性、AI 控制、可扩展监督、评估、红队测试、鲁棒性,以及错位行为模型生物等。共同特点是通过实际模型开展工作(训练、探测、微调、测量等),而不只是从第一性原理推演。这是项目中规模最大的方向,也是进入技术 AI 安全研究最常见的途径。

我们希望学员主要使用机器学习工程方法,且具备广义上的相关能力。核心要求是能够设计并运行针对语言模型或其他深度学习系统的实验,并根据结果快速迭代。通常,这意味着熟悉 Python(无论是否借助 AI 编程工具),了解中等规模模型运行所需的基础设施,并能判断哪些实验值得开展。使命契合度也很重要;学员应能说明某项实证研究如何实质性降低前沿 AI 风险,而不只是它能否产出论文。与其他方向相比,学历和资历并非主要考量。以往表现出色的学员包括本科生,也包括资深行业研究人员。

我们会根据契合度为学员匹配导师,并规划项目,使其在项目结束前产出具体成果,例如论文、评估套件、开源工具或技术报告。本方向的成果面向前沿实验室的安全与对齐团队、政府及其他评估机构,以及更广泛的机器学习研究社区。

如果你对这类研究感兴趣,欢迎申请。

实证研究 track streams

Redwood Research 研究流希望招募能够快速迭代实证研究、善于制定策略的学员,参与控制研究。

阅读更多
Mentorship structure
理想学员的特点
项目遴选流程

Roger Grosse 的研究方向是改进影响函数和其他训练数据归因方法,并利用这些工具研究与对齐相关的现象,例如脱离情境的推理和涌现错位。理想的学员熟悉 LLM 内部机制,具备扎实的统计学或应用数学基础(尤其是数值线性代数),并能独立推动研究,从文献梳理、实验设计到结果分析都能胜任。Roger 会提供可直接启动的项目,同时也鼓励表现突出的学员提出并推进自己的研究想法;学员也可以与他人合作。

阅读更多
Mentorship structure
理想学员的特点
项目遴选流程

该研究流将通过实证项目评估 AI 滥用带来的国家安全威胁(包括化学、生物、放射性和核恐怖主义及网络攻击),并改进危险能力评估。威胁建模方向希望申请者保持审慎、乐于开展案例分析,并具备出色的书面沟通能力。评估方向希望申请者能够积极参与,帮助验证一些概念,例如在 AI 滥用情境下模型是否存在“藏拙”评估缺口。

阅读更多
Mentorship structure
理想学员的特点
项目遴选流程

我的研究聚焦于如何评估先进 AI 系统在生物安全及化学、生物、放射性和核(CBRN)风险方面的能力。我尤其关注如何将技术证据转化为政府和前沿 AI 开发者可据以决策的信息。在这个研究方向中,我希望开发新型能力评估方法,研究危险或双重用途能力如何扩散到越来越容易获取的模型,并构建可扩展的红队测试方法:在不进行高风险现实演示的前提下,产出严谨且有助于决策的证据。

阅读更多
理想学员的特点

在 shard theory 方向,我们探索全新的方法与研究领域,包括引导向量、梯度路由、无监督能力诱发和稳健机器遗忘。如果你偏好理论研究,也可以参与为 shard theory 建立形式化理论基础。

阅读更多
Mentorship structure
理想学员的特点
项目遴选流程

我们关注 AI 控制和可扩展监督。我很期待与学员合作开展实证项目,构建并评估针对 LLM 智能体的控制措施和监督技术,尤其是基于思维链监控的方法。我们也关注思维链可监控性、错位和控制的科学问题。理想情况下,项目最终能形成一篇投稿至 NeurIPS、ICML 或 ICLR 的论文。

阅读更多
Mentorship structure
理想学员的特点
项目遴选流程

我们致力于开发可扩展技术,帮助人们理解和监督 AI。

阅读更多
Mentorship structure
理想学员的特点
项目遴选流程

该研究流将评估语言模型的危险能力,并检测模型是否存在欺骗和不诚实行为。

阅读更多

常见问题解答

什么是 MATS 项目?
MATS 导师是谁?
MATS 项目的关键日期有哪些?
谁有资格申请?
申请和导师选择流程是怎样的?