Peter Henderson 的项目聚焦开发安全、对齐的 AI 智能体,研究方向包括借鉴法律与博弈论制定可扩展监督规则、实现智能体的长期安全探索,以及衡量能力与安全边界的“锯齿状”特征。学员将在工程实践密集、鼓励自主推进的研究环境中,与其他 MATS 学员和博士生合作,并获得每周一对一交流和持续的异步指导。
制定更完善的 AI 智能体规则以实现可扩展监督:在近期研究 中,我们发现不同模型解释 AI 相关法律时会采取不同策略。但要为 AI 智能体制定完整规范,还有很多问题待解:法律工具能带来哪些启发?奖励规范和博弈论又能发挥什么作用?
实现智能体的长期安全探索:当智能体以探索和发现为目标时,奖励设定不当带来的风险会增加。如何让智能体具备自主行动能力并善于探索,同时长期保持对齐?在 AI 研发、生物研究和网络安全研究等高风险应用中,是否存在特定的错位信号?如何区分智能体在执行长期任务,与其隐含地追求生存、自主性等长期错位目标?如果希望智能体自主学习和探索,怎样才能确保其长期保持对齐?