Krishnamurthy Dvijotham (Dj)

本研究方向通过严格测试、可证明的防御机制和形式化规范,提升 AI 系统的安全性与稳健性。研究内容包括改进智能体安全基准、扩大随机平滑和 Lipschitz 约束训练等有数学依据的稳健性方法,以及开发用于规范智能体安全行为的形式化方法。

研究小组概览

  1. 在真实环境中开展有根据的 AI 智能体安全测试,并修复现有基准中的问题——当前的智能体安全测试基准存在若干不足,包括基准实现本身有漏洞,以及任务、攻击方式和威胁模型不够贴近现实。修复其中一些问题就能成为很有价值的项目。
  2. 扩大可证明的对抗攻击防御方法:针对对抗攻击的可证明防御持续取得进展。近期的方法包括通过随机平滑事后提升稳健性,或在训练时使用 Lipschitz 层等数学约束,将稳健性直接融入模型。结合并扩大这些方法的应用规模,是值得推进的研究方向。
  3. 研究如何规范智能体行为:对齐研究大量关注如何评估和提升对齐程度,却较少研究如何系统地描述我们希望智能体遵循的行为规范。机器人学和计算机系统领域已有丰富的文献,探讨如何形式化描述不安全行为。将这些方法应用于新一代 AI 智能体,厘清哪些行为可以或无法通过形式化方式规范,并扩大自动形式化的应用规模,都是很有价值的研究方向。

项目期间的工作地点:

SF Bay Area

导师

Krishnamurthy Dvijotham (Dj)
Google DeepMind
,
资深研究科学家
AI Control and Monitoring
Theoretical Alignment and Formal Methods
Capability and Propensity Evaluations
AI 系统安全
对抗鲁棒性与安全防护

Krishnamurthy(Dj)Dvijotham 是 Google DeepMind 的资深研究科学家,负责推动安全、可信 AI 智能体的开发。他此前在 ServiceNow Research 创立了 AI 安全研究团队,并在 DeepMind 共同创立了稳健且可验证 AI 团队。他的研究曾获多场顶级 AI 学术会议的最佳论文奖,最近包括 ICML 和 CVPR 2024。他的研究成果推动了 ServiceNow AI 安全测试框架的建立,也已应用于 Google Play Store、YouTube 和 Gemini 等多项 Google 产品。

阅读更多

我们希望招收的学员

所有项目都适合有编程经验、使用过 AI 系统且具备良好数学基础的学员。

​

如果还有 AI 基准构建、红队测试或形式化方法等方面的经验,会更理想。

项目遴选