UKAISI Red-Team

这个研究方向面向英国 AI 安全研究所(UK AISI)红队。团队致力于压力测试 AI 风险缓解措施,包括防止滥用的安全措施、控制技术和模型对齐红队测试。我们计划开发并改进相关评估方法及工具。

研究小组概览

项目可能包括:

  • 为各类风险缓解措施开发自动化红队测试方法
  • 构建评估环境,测试智能体型 AI 系统可能遭受的滥用
  • 针对用于监测滥用的异步或有状态系统开发攻击方法
  • 开发并开展红队测试,评估控制协议在现实部署情境中的效果
  • 改进 Petri 和 Bloom 等自动化审计工具,使其更贴近现实、更易控制,并具备支持倾向评估的有用功能;也可以在这些工具中构建倾向评估,或采用其他方式开展评估

项目期间的工作地点:

London

导师

Xander Davies
UK AISI, University of Oxford
,
防护措施团队负责人
Capability and Propensity Evaluations
AI 系统安全
对抗鲁棒性与安全防护

Xander Davies 是英国 AI 安全研究所的技术团队成员,负责领导红队测试小组。该团队运用对抗性机器学习技术来理解、攻击并改进前沿 AI 防护措施。他还在 Oxford 攻读博士,导师是 Yarin Gal 博士。此前,他在 Harvard 学习计算机科学,并创立和领导了 Harvard AI Safety Team。

阅读更多
Robert Kirk
UK AISI
,
研究科学家
Misalignment Science
Capability and Propensity Evaluations
对抗鲁棒性与安全防护

Robert 是研究科学家,也是英国 AI 安全研究所(UK AISI)对齐红队测试小组的代理负责人。该团队通过压力测试模型对齐,发现并理解可能导致失控风险的模型倾向。此前,他主要从事滥用研究,评估防护措施和降低滥用风险的方法,尤其关注开放权重系统。2025 年 1 月,他在 University College London 完成博士学位,研究 LLM 微调和强化学习智能体的泛化能力。

阅读更多
Misalignment Science
AI Control and Monitoring
Capability and Propensity Evaluations
AI 系统安全
对抗鲁棒性与安全防护

Alex Souly 是英国 AI 安全研究所红队的研究员,负责前沿 LLM 的安全与防护。她参与了部署前评估,以及针对滥用防护措施和对齐的红队测试(可参阅 Anthropic 和 OpenAI 的博客文章),也参与开发了 StrongReject 和 AgentHarm 等开源评估工具。此前,她在 Cambridge 学习数学,在 UCL Dark Lab 学习机器学习,曾在 CHAI 实习;更早之前,她还曾在 Microsoft 担任软件工程师。

阅读更多
Eric Winsor
UK AISI
,
研究工程师
AI Control and Monitoring
Capability and Propensity Evaluations
对抗鲁棒性与安全防护

Eric Winsor 是英国 AI 安全研究所(UK AI Security Institute)的研究科学家,参与对前沿 AI 模型安全防护措施进行对抗性测试。他在密歇根大学获得计算机工程理学学士学位。

阅读更多
Giorgi Giglemiani
UK AISI
,
研究工程师
Interpretability
Capability and Propensity Evaluations
对抗鲁棒性与安全防护

Giorgi Giglemiani 在英国 AI 安全研究所工作,并与他人合著了《Boundary Point Jailbreaking》。此前,他在 LASR Labs 研究由稀疏自编码器潜变量构成的合成激活。

阅读更多
Asa Cooper Stickland
UK AISI
,
研究科学家
Misalignment Science
AI Control and Monitoring
Capability and Propensity Evaluations
对抗鲁棒性与安全防护

I'm a research scientist at the UK AI Security Institute, working on AI control red teaming and model organisms of misalignment. I was previously a postdoc with Sam Bowman at NYU, did MATS with Owain Evans, and mentored for the MATS, SPAR and Pivotal fellowships. I got my PhD at the University of Edinburgh, supervised by Iain Murray.

阅读更多

我们希望招收的学员

我们希望学员具备机器学习和 AI 安全方面的实践经验,尤其对对抗鲁棒性、红队测试或 AI 安全防护感兴趣。理想的候选人具备以下条件:

​

  • 熟悉大型语言模型,例如训练、微调、评估或安全研究
  • 具备扎实的 ML 技术基础,最好有 PyTorch 或 Inspect 编程经验
  • 对一个或多个重点方向感兴趣:防止滥用(保护系统免受恶意行为者攻击)、对齐(确保 AI 系统按预期行事),或控制(即使 AI 系统失配,也能将其置于人类控制之下)
  • 以使命为导向,并好奇 AI 安全研究如何影响现实世界的政策和部署决策
  • 能够主动推动自己的研究想法、独立开展工作,同时也能有效协作,并优先考虑团队目标,而非只做个人项目

​

我们欢迎处于不同职业阶段的学员,尤其欢迎愿意研究能直接影响前沿 AI 治理和部署的问题的人。

项目遴选

学员将从一组预先拟定、符合当前研究重点的项目方向中选择,例如:

  • 开发自动化方法,测试 AI 防滥用措施
  • 研究数据投毒攻击及防御方法
  • 设计基准,评估模型在多轮交互中检测滥用的能力
  • 测试针对潜在失配 AI 系统的控制措施

​

我们会先提供方向和项目范围方面的指导,之后学员可以在该框架下自主探索具体方法。

预计每周沟通一次,跟进进度并完善研究方向。

如果学员有特别感兴趣、且认为符合团队工作范围的想法,欢迎提出;但不保证一定会被选中。