SWE-bench Verified

简介

SWE-bench Verified 是 SWE-bench 的 500 题人工校验子集，目标是剔除那些离开 GitHub issue 附加上下文就无法完成的题目，从而更稳定地衡量 agentic coding 系统解决真实软件工程问题的能力。

关键点

• 该 benchmark 使用真实开源 Python 仓库中的 GitHub issue，而不是面试题或竞赛题。
• 评分依据是关闭原始 issue 的 PR 所对应的真实单元测试。
• 文章强调它衡量的是完整 agent，包括模型、提示、工具和交互循环，而非单独模型。
• 在《[llm-wiki/raw/anthropic/Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet](/raw/anthropic/Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet.md)》中，Anthropic 用它来展示 Claude 3.5 Sonnet + Agent scaffold 的系统效果。
• 文章还指出这个 benchmark 的运行成本高，且容易受到环境配置、隐藏测试和评分噪声影响。

ℹ️ Conflict:

• 不同论文或团队汇报的分数若使用不同 scaffold、运行设置或修复后的 harness，横向比较时需要谨慎。

相关链接

• [llm-wiki/raw/anthropic/Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet](/raw/anthropic/Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet.md)
• Claude 3.5 Sonnet
• Anthropic
• Agent scaffold
• Agentic coding evals

来源引用

• Anthropic Engineering, “Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet”, 2025-01-06: https://www.anthropic.com/engineering/swe-bench-sonnet
• 原文摘录：[llm-wiki/raw/anthropic/Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet](/raw/anthropic/Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet.md)