跳转到内容
Yzx Wiki

Demystifying evals for AI agents

简介

Section titled “简介”

这是一篇 Anthropic 于 2026-01-09 发布的 agent eval 方法论文章。文章的核心不是再介绍某个 benchmark，而是系统解释：为什么 agent 比单轮 LLM 更难评测、eval 该由哪些组件组成、不同 agent 类型该怎么设计 grader，以及团队如何从零搭出真正有用的评测体系。

关键点

Section titled “关键点”
  • 文章首先明确了一个边界：agent eval 评测的对象不是单个模型输出，而是“模型 + agent harness + 工具 + 环境”共同形成的完整系统。
  • 为了统一讨论，文章把一套基础术语讲得很清楚，包括 task、trial、grader、transcript、outcome、evaluation harness、agent harness 和 evaluation suite。
  • Anthropic 强调 eval 的价值会随着 agent 生命周期累积。早期它迫使团队明确“成功到底是什么”，后期它则成为 regression 防线、模型升级加速器和研究/产品协作的共同语言。
  • 文章把 grader 分成三类：代码 grader、模型 grader 和人工 grader，并明确指出 agent eval 往往需要混合使用，而不是迷信某一种“万能评分器”。
  • 一个非常实用的区分是 capability evals 与 regression evals。前者应该难，起点通过率低，用来拉能力曲线；后者应该接近满分，用来监控是否退化。成熟后，能力题会“毕业”为回归题。
  • 对 coding、conversational、research、computer use 四类 agent，文章都给了可复用的设计模式。共同点是：尽量优先用 outcome-based grading，而不要过度约束 agent 必须走特定步骤。
  • 文章特别强调 non-determinism。因为同一个 task 多次试跑结果会变化，所以 eval 不该只盯单次通过率，而应该根据产品需求看 pass@k 或 pass^k 这类更贴近实际使用方式的指标。
  • 在落地方法上，Anthropic 给了一条非常工程化的路线：尽早开始；先把手工测试和真实失败转成 tasks；写明确且可解的任务；建立稳定、隔离的 harness；精心设计 graders；大量读 transcripts；防止 capability eval 饱和；把 eval 维护变成持续性的团队职责。
  • 文章还明确反对一种常见误区：把 agent 的工具调用顺序写死进评分逻辑。因为 frontier agent 经常会找到设计者没预料到、但同样有效的解法。
  • 最后，Anthropic 反复提醒：自动化 eval 很重要，但从来不够。真正完整的 agent 理解，还需要生产监控、A/B test、用户反馈、人工 transcript review 和系统化人工研究共同构成多层防线。

ℹ️ Conflict:

  • eval 分数不该被直接当真值。若任务本身含糊、grader 不公平、harness 限制了 agent，低分可能是在测评框架，而不是在测 agent。
  • “更多任务” 不自动等于“更好 eval”。在早期，大效果改动配合 20-50 个高质量、贴近真实失败的任务，往往比大而空的题库更有效。

相关链接

Section titled “相关链接”

来源引用

Section titled “来源引用”