Neev Parikh

我欢迎能提升模型能力评估水平,或帮助我们理解和评估模型可监测性的实证研究项目。理想的项目应以研究成果收尾,例如会议论文、arXiv 论文,或附有研究材料的博客文章。

研究小组概览

以下是一些令我感兴趣的项目示例:

​

  • 开发一项评估,衡量模型预测哪些研究方向或方法更有前景的能力,并与人类表现进行比较。

​

  • 尝试测量“裁判”(Judge)能力的时间跨度,即模型准确核验或预测评估记录得分或结果的能力能延伸多远。我们能否描绘判别器与生成器之间的差距,并分析:模型 N 能核验的任务类型,是否正是模型 N+1 提升最大的领域?

​

  • 在许多现有基准测试中,模型可能还没有充分利用推理时的额外算力。可以运用针对特定弱点的现有方法,或尝试新方法,量化并缩小这一差距。

​

以下方向目前还没有明确的项目范围;如果学员已经有清晰的研究构想,我会很感兴趣:

​

  • 为可监测性评估开发更有效的红队攻击策略。

​

  • 模型越来越多地使用合成数据训练。这是否意味着模型会不经推理就本能地“表现不佳”(也就是故意藏拙),模仿生成训练数据的弱模型?

​

  • 研究通过强化学习训练和微调时,涌现错位是否呈现相似规律。例如,在 CTF 或逆向工程环境中通过强化学习训练模型,会不会引发更多奖励黑客行为?

​

  • 研究算力与任务时间跨度趋势之间的关系。METR 目前以模型发布日期为横轴衡量时间跨度,而不是有效算力。我们能否测量有效算力与任务时间跨度之间的关系?

​

  • 比较近期提出的神经语或潜在推理架构,与当前开源模型默认采用的推理范式之间的差异,并估算可见思维链带来的对齐代价如何随时间变化。可以整理和分析已发表结果,也可以通过基准测试相关模型来收集新数据。

项目期间的工作地点:

SF Bay Area

导师

Neev Parikh
METR
,
技术团队成员
Misalignment Science
AI Control and Monitoring
Capability and Propensity Evaluations

I like to make computers do interesting things, deeply understand concepts and build interesting, useful tools. I’m currently thinking about AI alignment, control, and evaluations, and work with frontier models at METR.

​

Recent work I've done involves [MALT](https://metr.org/blog/2025-10-14-malt-dataset-of-natural-and-prompted-behaviors/), [training models to fool monitors in QA settings](https://metr.org/notes/2025-10-06-early-results-on-monitorability-in-qa-settings/) and [RE-Bench](https://metr.org/blog/2024-11-22-evaluating-r-d-capabilities-of-llms/).

​

I've previously worked at Stripe and CSM, and did a concurrent BSc/MSc in Computer Science at Brown.

阅读更多

我们希望招收的学员

理想的学员应具备扎实的 AI 研究背景;如果同时有软件工程经验更好。学员需要积极主动,能在较少干预的情况下每周持续推进。如果你对范围尚未明确的项目感兴趣,我希望你能写出范围清晰的项目提案,列明切实可行的阶段目标和交付成果。过去成功项目的经历会很有帮助。

​

学员可以是博士生,也可以将项目论文纳入自己的博士论文。

项目遴选

我会与学员讨论项目构想。