越来越多证据表明,语言模型具备一定程度的情境感知能力[1、2],也就是说,它们会编码或表达与实际运行环境相符的信息。从(i)区分训练、测试和部署阶段(例如参见[3、4]以及前沿模型的系统卡),到(ii)识别自己的输出[5],甚至能内省地访问自身激活状态[6、7],表现形式各不相同。
我们尤其希望指导能够通过实证研究这些现象背后机制的项目。
内省相关项目示例(代表性项目可参见[5、[6、[7、11]),包括研究内省对安全究竟有帮助还是有害。
LawZero 正在构建 Scientist AI(SAI)。该系统基于两个理念:理解能力可以与自主行动能力分离[12],而预言机可以作为智能体的安全护栏[13]。
SAI 包含两个组件:(i)“来源标注器”,将文本语料拆分为带有信息来源标注的陈述[14];(ii)预测器不确定性估计器。
我们尤其关注使用摊销推断方法(如 GFlowNets,[15、16、17)来近似潜变量后验分布的项目,例如估计:(i)信息来源;或(ii)自回归模型背后的预测器。这样便可以依据学习得到的分布估计预测不确定性,而不是依赖单点估计。
对于“来源标注处理”相关项目,我们希望研究:当数据由不可靠的智能体生成时,这套流程能否帮助模型学到更好的世界模型(例如[18]中描述的模型)。
Montreal
Yoshua Bengio 是蒙特利尔大学计算机科学正教授、LawZero 联席主席兼科学总监,也是 Mila 的创始人和科学顾问。他还担任加拿大 CIFAR AI 讲席教授。他被公认为全球 AI 与深度学习领域的领军人物之一,曾获 2018 年 A.M. 图灵奖(常被称为“计算领域的诺贝尔奖”)。按总引用次数计算,他是全球引用次数最多的计算机科学家,也是各领域在世学者中引用次数最多的人。
Bengio 教授是伦敦皇家学会和加拿大皇家学会会士、加拿大官佐勋章获得者、法国荣誉军团骑士,并担任联合国科学技术突破独立咨询科学顾问委员会成员及《国际 AI 安全报告》主席。
Damiano 是 LawZero 的研究科学家,负责研究 Scientist AI 背后的数学原理,以及用于评估情境意识和内省能力的可解释性与评估技术。
Jean-Pierre 是 LawZero 的机器学习研究科学家,专注于设计具备量化安全保证的基于模型 AI 系统。他主要关注图模型中的概率推断,并从神经内科和神经科学的跨学科背景中汲取灵感,借此理解人类认知。Jean-Pierre 在 McGill University 学习,2017 年获得医学学位,2022 年完成神经内科住院医师培训,并于 2023 年获得神经科学硕士学位。硕士期间,他开发了用于精准医疗的因果机器学习方法。在 LawZero 工作的同时,他还在 Mila 和 Université de Montréal 攻读计算机科学博士,导师是 Yoshua Bengio。除了推动有安全保证的 AI 基础研究,Jean-Pierre 也热衷于将 AI 的进展转化为具有临床价值、对安全要求极高的应用。
Pierre-Luc St-Charles 是一名研究员和开发者,专长于应用机器学习,在不同非营利研究机构拥有十余年经验。他曾在蒙特利尔计算机研究所担任研究职务,并在 Mila 担任高级研究职务,与产业伙伴和多学科高校团队合作,开展自然资源、交通、数字媒体、文档智能和地球观测等领域的创新项目。2018 年,他在蒙特利尔理工学院获得计算机视觉博士学位,并获院系最佳论文奖。2024 年,他加入由 Mila 孵化、致力于开发安全 AI 技术的 LawZero。目前,他专注于为前沿 AI 系统构建基准和评估方法。
Marc-Antoine 是 LawZero 的研究科学家,专长于自然语言处理和应用机器学习,目前正将这些技术用于 AI 安全项目。
他的研究领域包括可解释性和评估。
OIi(ver) 是一名计算机科学家,在 LawZero 任职,并在 Yoshua Bengio 指导下从事博士后研究。他的科学和数学知识面尤其广。
他很喜欢精彩的演示和宏大的统一理论——有时也因此忽略了实际可行性。过去几年(也就是在 Cornell 攻读博士期间),Oli 提出了一套优美的理论:许多经典和现代 AI,都可以理解为在消解一种自然的信息论度量,即认知上的不一致。虽然仍有许多问题尚待回答,但更清晰的理论框架有望帮助我们构建强大的通用 AI 系统,并通过从根本上避免形成有实质意义的目标或欲望来提升安全性。
Mirko is a research scientist with over 15 years of experience in Machine Learning and Natural Language Processing, specializing in applied research across diverse industries.
His expertise spans Python, Pytorch, TensorFlow, and NLP frameworks like Hugging Face, enabling him to drive impactful machine learning solutions for businesses.
Mirko is passionate about optimizing deep learning model performance and advancing software engineering best practices in deep learning projects.
必要知识:
必要经验:
希望具备的经验:
加分项: