Shi Feng

本研究方向将通过概念、实证和理论研究,推进可扩展监督与控制方法。这包括但不限于:为特定失效模式构建模型生物、设计针对这些失效模式的训练流程,以及推进安全论证中的相关子问题。

研究小组概览

  • 构建贴近现实的欺骗与串通模型生物
  • 研究监测器如何从简单情境推广到更困难的情境
  • 提升可扩展监督协议的可读性,并研究其难度泛化
  • 元认知

项目期间的工作地点:

New York City

导师

Shi Feng
George Washington University
,
助理教授
Misalignment Science
AI Control and Monitoring
Capability and Propensity Evaluations

Shi Feng 领导一个研究监督与控制的团队。他是 George Washington University 的助理教授。此前,他曾在 Sam Bowman 指导下,于 NYU Alignment Research Group 从事博士后研究。目前,他主要研究欺骗与串谋,重点关注相关倾向以及评估是否贴近现实。

阅读更多

我们希望招收的学员

  • 对结合概念、实证和理论研究的可扩展监督、控制方法及其威胁建模感兴趣
  • 能够明确提出研究的关键问题,并将其转化为实证实验:有哪些隐含假设?什么样的结果会让这个想法更有希望,或更不值得继续?
  • 能够仔细查看数据并开展人工定性分析,例如阅读辩论记录
  • 愿意搭建实验支架并参与各类后训练流程
  • 有人工评估经验会是加分项

项目遴选

我们会提前分享一份研究计划文档,其中列出一些候选项目。学员也可以围绕研究计划共同构思并提出想法。项目安排将在第二周确定。