项目可能包括:
London
Xander Davies 是英国 AI 安全研究所的技术团队成员,负责领导红队测试小组。该团队运用对抗性机器学习技术来理解、攻击并改进前沿 AI 防护措施。他还在 Oxford 攻读博士,导师是 Yarin Gal 博士。此前,他在 Harvard 学习计算机科学,并创立和领导了 Harvard AI Safety Team。
Robert 是研究科学家,也是英国 AI 安全研究所(UK AISI)对齐红队测试小组的代理负责人。该团队通过压力测试模型对齐,发现并理解可能导致失控风险的模型倾向。此前,他主要从事滥用研究,评估防护措施和降低滥用风险的方法,尤其关注开放权重系统。2025 年 1 月,他在 University College London 完成博士学位,研究 LLM 微调和强化学习智能体的泛化能力。
Alex Souly 是英国 AI 安全研究所红队的研究员,负责前沿 LLM 的安全与防护。她参与了部署前评估,以及针对滥用防护措施和对齐的红队测试(可参阅 Anthropic 和 OpenAI 的博客文章),也参与开发了 StrongReject 和 AgentHarm 等开源评估工具。此前,她在 Cambridge 学习数学,在 UCL Dark Lab 学习机器学习,曾在 CHAI 实习;更早之前,她还曾在 Microsoft 担任软件工程师。
Eric Winsor 是英国 AI 安全研究所(UK AI Security Institute)的研究科学家,参与对前沿 AI 模型安全防护措施进行对抗性测试。他在密歇根大学获得计算机工程理学学士学位。
Giorgi Giglemiani 在英国 AI 安全研究所工作,并与他人合著了《Boundary Point Jailbreaking》。此前,他在 LASR Labs 研究由稀疏自编码器潜变量构成的合成激活。
I'm a research scientist at the UK AI Security Institute, working on AI control red teaming and model organisms of misalignment. I was previously a postdoc with Sam Bowman at NYU, did MATS with Owain Evans, and mentored for the MATS, SPAR and Pivotal fellowships. I got my PhD at the University of Edinburgh, supervised by Iain Murray.
我们希望学员具备机器学习和 AI 安全方面的实践经验,尤其对对抗鲁棒性、红队测试或 AI 安全防护感兴趣。理想的候选人具备以下条件:
我们欢迎处于不同职业阶段的学员,尤其欢迎愿意研究能直接影响前沿 AI 治理和部署的问题的人。
学员将从一组预先拟定、符合当前研究重点的项目方向中选择,例如:
我们会先提供方向和项目范围方面的指导,之后学员可以在该框架下自主探索具体方法。
预计每周沟通一次,跟进进度并完善研究方向。
如果学员有特别感兴趣、且认为符合团队工作范围的想法,欢迎提出;但不保证一定会被选中。