LawZero

我们期待指导以下两类项目:

  1. 研究情境感知(包括多智能体情境感知)的成因、影响及缓解方法;
  2. 直接参与 LawZero 的 Scientist AI 项目。

​

对于第一类项目,我们尤其关注:

  • 评估认知和监测能力;
  • 从内省角度研究自我认知。

​

对于第二类项目,我们尤其关注:

  • 检验“来源标注处理”(即根据文本语料补充信息来源)能否帮助语言模型更好地泛化;
  • 开发摊销推断方法,估计预测器(如自回归模型)所作预测的不确定性。

研究小组概览

评估意识和内省的成因、影响及缓解方法

越来越多证据表明,语言模型具备一定程度的情境感知能力[1、2],也就是说,它们会编码或表达与实际运行环境相符的信息。从(i)区分训练、测试和部署阶段(例如参见[3、4]以及前沿模型的系统卡),到(ii)识别自己的输出[5],甚至能内省地访问自身激活状态[6、7],表现形式各不相同。

​

我们尤其希望指导能够通过实证研究这些现象背后机制的项目。

​

评估意识相关项目示例(代表性项目可参见[8、9、10):

  • 开发白盒和黑盒评估,量化模型实际具备评估意识的程度;
  • 构建评估意识的模型生物,以找出让这种意识更明显、更容易泛化的因素(例如数据或训练流程中的因素);
  • 提出缓解评估意识的方法。

​

内省相关项目示例(代表性项目可参见[5、[6、[7、11]),包括研究内省对安全究竟有帮助还是有害。

  • 例如,对于缺乏内省能力的模型,它对自身知识(或更广义的“信念”)给出不一致回答,可能源于幻觉或能力不足;而具备内省能力的模型更能访问或解释某些隐藏状态,如果它仍给出不一致回答,就可能意味着更值得警惕的“不诚实”或“刻意隐瞒”。

​

Scientist AI:来源标注处理与不确定性估计

​

LawZero 正在构建 Scientist AI(SAI)。该系统基于两个理念:理解能力可以与自主行动能力分离[12],而预言机可以作为智能体的安全护栏[13]。

SAI 包含两个组件:(i)“来源标注器”,将文本语料拆分为带有信息来源标注的陈述[14];(ii)预测器不确定性估计器。

​

我们尤其关注使用摊销推断方法(如 GFlowNets,[15、16、17)来近似潜变量后验分布的项目,例如估计:(i)信息来源;或(ii)自回归模型背后的预测器。这样便可以依据学习得到的分布估计预测不确定性,而不是依赖单点估计。

​

对于“来源标注处理”相关项目,我们希望研究:当数据由不可靠的智能体生成时,这套流程能否帮助模型学到更好的世界模型(例如[18]中描述的模型)。

项目期间的工作地点:

Montreal

导师

Yoshua Bengio
Mila, LawZero
,
LawZero 联席主席兼科学总监/蒙特利尔大学正教授/Mila 创始人兼科学顾问
Agent Foundations
Policy and Governance
AI Control and Monitoring
Theoretical Alignment and Formal Methods
AI 技术治理

Yoshua Bengio 是蒙特利尔大学计算机科学正教授、LawZero 联席主席兼科学总监,也是 Mila 的创始人和科学顾问。他还担任加拿大 CIFAR AI 讲席教授。他被公认为全球 AI 与深度学习领域的领军人物之一,曾获 2018 年 A.M. 图灵奖(常被称为“计算领域的诺贝尔奖”)。按总引用次数计算,他是全球引用次数最多的计算机科学家,也是各领域在世学者中引用次数最多的人。

​

Bengio 教授是伦敦皇家学会和加拿大皇家学会会士、加拿大官佐勋章获得者、法国荣誉军团骑士,并担任联合国科学技术突破独立咨询科学顾问委员会成员及《国际 AI 安全报告》主席。

阅读更多
Damiano Fornasiere
LawZero
,
高级 AI 安全研究科学家
Agent Foundations
Misalignment Science
Theoretical Alignment and Formal Methods
Capability and Propensity Evaluations

Damiano 是 LawZero 的研究科学家,负责研究 Scientist AI 背后的数学原理,以及用于评估情境意识和内省能力的可解释性与评估技术。

阅读更多
Jean-Pierre Falet
LawZero, Université de Montréal
,
机器学习研究科学家
Agent Foundations
AI Control and Monitoring
Theoretical Alignment and Formal Methods

Jean-Pierre 是 LawZero 的机器学习研究科学家,专注于设计具备量化安全保证的基于模型 AI 系统。他主要关注图模型中的概率推断,并从神经内科和神经科学的跨学科背景中汲取灵感,借此理解人类认知。Jean-Pierre 在 McGill University 学习,2017 年获得医学学位,2022 年完成神经内科住院医师培训,并于 2023 年获得神经科学硕士学位。硕士期间,他开发了用于精准医疗的因果机器学习方法。在 LawZero 工作的同时,他还在 Mila 和 Université de Montréal 攻读计算机科学博士,导师是 Yoshua Bengio。除了推动有安全保证的 AI 基础研究,Jean-Pierre 也热衷于将 AI 的进展转化为具有临床价值、对安全要求极高的应用。

阅读更多
Pierre-Luc St-Charles
LawZero
,
高级机器学习研究科学家
Agent Foundations
AI Control and Monitoring
Capability and Propensity Evaluations
对抗鲁棒性与安全防护

Pierre-Luc St-Charles 是一名研究员和开发者,专长于应用机器学习,在不同非营利研究机构拥有十余年经验。他曾在蒙特利尔计算机研究所担任研究职务,并在 Mila 担任高级研究职务,与产业伙伴和多学科高校团队合作,开展自然资源、交通、数字媒体、文档智能和地球观测等领域的创新项目。2018 年,他在蒙特利尔理工学院获得计算机视觉博士学位,并获院系最佳论文奖。2024 年,他加入由 Mila 孵化、致力于开发安全 AI 技术的 LawZero。目前,他专注于为前沿 AI 系统构建基准和评估方法。

阅读更多
Marc-Antoine Rondeau
LawZero
,
高级机器学习研究科学家
Agent Foundations
Interpretability
AI Control and Monitoring
Capability and Propensity Evaluations

Marc-Antoine 是 LawZero 的研究科学家,专长于自然语言处理和应用机器学习,目前正将这些技术用于 AI 安全项目。

他的研究领域包括可解释性和评估。

阅读更多
Oliver Richardson (Oli)
LawZero, Université de Montréal
,
高级机器学习研究科学家(LawZero)/博士后研究员(蒙特利尔大学)
Agent Foundations
AI Control and Monitoring
Theoretical Alignment and Formal Methods

OIi(ver) 是一名计算机科学家,在 LawZero 任职,并在 Yoshua Bengio 指导下从事博士后研究。他的科学和数学知识面尤其广。

​

他很喜欢精彩的演示和宏大的统一理论——有时也因此忽略了实际可行性。过去几年(也就是在 Cornell 攻读博士期间),Oli 提出了一套优美的理论:许多经典和现代 AI,都可以理解为在消解一种自然的信息论度量,即认知上的不一致。虽然仍有许多问题尚待回答,但更清晰的理论框架有望帮助我们构建强大的通用 AI 系统,并通过从根本上避免形成有实质意义的目标或欲望来提升安全性。

阅读更多
Mirko Bronzi
LawZero, MILA
,
Senior Applied Research Scientist
Interpretability
AI Control and Monitoring

Mirko is a research scientist with over 15 years of experience in Machine Learning and Natural Language Processing, specializing in applied research across diverse industries.

His expertise spans Python, Pytorch, TensorFlow, and NLP frameworks like Hugging Face, enabling him to drive impactful machine learning solutions for businesses.

Mirko is passionate about optimizing deep learning model performance and advancing software engineering best practices in deep learning projects.

阅读更多

我们希望招收的学员

必要知识:

  • 机器学习与深度学习基础;
  • Transformer 架构和大型语言模型;
  • AI 安全实证研究文献(例如评估、安全护栏、可解释性等)。

​

必要经验:

  • Python;
  • 使用 PyTorch 设计并实现机器学习工作流程;
  • 有语言模型的监督微调或 RL 微调经验,至少做过玩具实验并使用过公开数据集。

​

希望具备的经验:

  • 提示工程;
  • 使用过 vLLM、TRL、Hugging Face 等库;
  • 熟悉统计假设检验。

​

加分项:

  • 异步 API;
  • 多 GPU 训练。

项目遴选

  • 研究方向的导师会在第一周介绍并讲解项目。
  • 学员会在第一周或第二周参与了解项目,例如阅读相关文献、复现论文或搭建演示/MVP。
  • 最迟在第二周结束时,导师和学员会共同确定项目。选择时会考虑兴趣、可行性(理想情况下以发表 ML 会议论文为参考目标)、现有研究进展、与 AI 安全的相关性,以及导师和学员的专业知识。
  • 特殊情况下可以重新分配项目,例如新发现促使研究方向突然调整。