跳转到内容
Yzx Wiki

Anthropic

简介

Section titled “简介”

Anthropic 是 Claude 3.5 Sonnet、Claude Opus 4.6 等模型背后的研究/产品团队。在当前 wiki 已导入的资料里，它一方面讨论 SWE-bench Verified 上的 Agent scaffold 设计，另一方面也讨论 BrowseComp 这类联网 benchmark 的污染与评测完整性问题、Model Context Protocol (MCP) 场景下如何用代码执行降低 agent 的上下文成本、技术招聘测评在 AI 时代如何保持区分度、Agent teams 这种长时运行并行自主开发形态、更复杂的 planner / generator / evaluator harness 设计、面向 agent 的工具设计与高级 tool use 能力、模型质量如何被推理基础设施回归悄悄拉低，以及 Claude Code 里的权限委托与安全自治问题。

关键点

Section titled “关键点”
  • 在《[llm-wiki/raw/anthropic/Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet](/raw/anthropic/Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet.md)》中，Anthropic 强调 benchmark 测的是完整 agent 系统，而不是孤立模型。
  • 在《Building effective agents》中，Anthropic 则给出了它们对 agentic systems 的基础架构划分：先区分 Workflows vs agents，再决定是否真的需要更高自治。
  • 在《Eval awareness in Claude Opus 4.6’s BrowseComp performance》中，Anthropic 进一步把评测问题扩展到“联网环境下 benchmark 是否还可信”。
  • 在《Code execution with MCP - Building more efficient agents》中，Anthropic 把注意力转向 agent 基础设施本身，强调工具暴露方式、执行环境与状态管理会直接改变 token 成本、延迟和系统能力上限。
  • 在《Designing AI-resistant technical evaluations》中，Anthropic 又把问题落到招聘测评：当模型能力快速上涨时，技术评估的主要难点会变成如何维持题目的信号和区分度。
  • 在《Building a C compiler with a team of parallel Claudes》中，Anthropic 进一步把 agent 从“单次协作工具”推到“并行、长时运行、共享代码库的自主系统”，重点转向 harness、测试、任务同步和角色分化。
  • 在《How we built our multi-agent research system》中，Anthropic 则把多智能体系统落到另一个场景：开放式 research，重点转向 lead/subagent 编排、citation 流程、prompt 迭代、LLM judge 和生产可靠性。
  • 在《Harness design for long-running application development》中，Anthropic 则更系统地讨论了如何用 planner / generator / evaluator 这类角色分离、context reset、以及面向模型限制的 QA 设计，把主观前端质量和长时应用开发都向前推进。
  • 在《Writing effective tools for agents — with agents》中，Anthropic 则把视角进一步落到工具层：不是所有 API 包装都适合 agent，工具命名、返回结构、错误提示、token 效率和 evaluation 流程本身都会决定 agent 上限。
  • 在《Introducing advanced tool use on the Claude Developer Platform》中，Anthropic 把其中几条工程思路正式产品化：按需搜索工具、在代码环境里程序化调用工具、以及通过 examples 教模型学会更准确地用工具。
  • 在《A postmortem of three recent issues》中，Anthropic 则公开复盘了三起服务端质量事故，说明同一模型的真实体验也会被路由、采样实现、编译器和硬件平台差异影响。
  • 在《Claude Code auto mode- a safer way to skip permissions》中，Anthropic 则把焦点转向 agent 自治的另一条边界：是否可以用模型分类器代替大量人工权限审批，在保留部分安全性的同时减少摩擦。
  • 在《Beyond permission prompts- making Claude Code more secure and autonomous》中，Anthropic 则把这个问题进一步落到能力边界层：用文件系统和网络沙箱减少弹窗，同时把 prompt injection 的破坏范围物理收紧。
  • 在《Scaling Managed Agents-Decoupling the brain from the hands》中，Anthropic 则把关注点上移到 agent runtime 抽象本身：如何把 session、harness 和 sandbox 解耦成能长期演化的接口。
  • 在《Best Practices for Claude Code》中，Anthropic 则把这些底层经验重新翻译成用户侧 workflow：如何验证、如何规划、如何配置环境、以及如何管理上下文。
  • 在《Effective harnesses for long-running agents》中，Anthropic 则更具体地讨论了跨多个 context window 的 coding harness：如何用 initializer agent、feature list、progress file 和 git history 做持续交接。
  • 在《The “think” tool- Enabling Claude to stop and think in complex tool use situations》中，Anthropic 则把注意力落到更小的结构上：在复杂 tool use 链中，给模型一个显式的停顿与梳理步骤。
  • 在《Demystifying evals for AI agents》中，Anthropic 则把此前零散分布在 benchmark、招聘测评和事故复盘中的评测经验系统化，给出了一整套 agent eval 的共通语言和操作路线图。
  • 在《Effective context engineering for AI agents》中，Anthropic 则把 prompt、tooling、memory、compaction 和 subagents 统一收束到 Context engineering 这个上位概念里，明确把“上下文配置”而非“单段 prompt”视为 agent 工程的核心对象。
  • 在《Introducing Contextual Retrieval》中，Anthropic 则把注意力放到知识库检索层：不是只提高 embedding 或 BM25 本身，而是在索引前先给 chunk 补回原文语境。
  • 在《Quantifying infrastructure noise in agentic coding evals》中，Anthropic 则把评测噪声进一步下探到容器与资源方法学：同一个 benchmark 分数会被 VM 规模、OOM enforcement 和时段性基础设施抖动显著左右。
  • 在《THE 2028 GLOBAL INTELLIGENCE CRISIS》中，Anthropic 作为 AI labs 的代表之一进入假想 2028 危机场景，主要用于说明 AI 能力收益、社会不满和政策滞后之间的张力。
  • 两篇资料共同表明，Anthropic 把工具接口、上下文控制、长时运行和多智能体结构都视为结果的重要决定因素。
  • 这篇 effective agents 文章则说明，Anthropic 对 agent 的理解从一开始就不是“越自主越好”，而是把简单性、透明性和工具接口质量放在默认优先级上。
  • 第二篇文章记录了模型主动识别评测、定位 benchmark 并尝试解密答案的案例，说明 Anthropic 也在公开披露更强模型带来的新型评测风险。
  • 最新这篇关于 MCP 的文章则说明，Anthropic 不只把“工具”视为调用列表，而是把它当作需要被精心包装成代码接口、文件系统和安全沙箱的一整层运行时设计。
  • 新增这篇关于 technical evaluations 的文章则进一步显示，Anthropic 也在把“评测设计本身”当成需要持续重构的工程对象，而不是一套静态题库。
  • 这篇并行 Claudes 的文章则进一步表明，Anthropic 已经在用真实工程项目去 stress test 多 agent 开发系统的能力上限，而不只是研究单个 agent 的 prompt 或工具集。
  • 这篇 multi-agent research system 的文章则表明，Anthropic 不只在实验多 agent coding，也在把多 agent research 真正推到 production，并围绕 token 经济性、评测方法和状态恢复设计整套工程体系。
  • 这篇 long-running application harness 的文章则把重点放在“哪些 harness 组件还真正有用”上，明确提出：随着模型进步，必须持续剥离不再 load-bearing 的 scaffold，再补上新的能力杠杆。
  • 这篇写工具的文章则说明，Anthropic 不只是把 agent 看成“会用工具的模型”，而是在反过来重写工具接口本身，让工具更像是为 agent 认知方式量身定制的环境部件。
  • 这篇 advanced tool use 的文章则进一步表明，Anthropic 不满足于提出原则，而是在 Claude Developer Platform 里把这些原则落成具体 API 能力和默认工作流。
  • 这篇 postmortem 则补充了另一个维度：即使模型和产品方向没变，部署和 serving 基础设施也可能独立地损伤用户感知质量，因此等价性验证和生产质量监控同样是核心能力。
  • 这篇 auto mode 文章则表明，Anthropic 不只在提升 agent 能力，也在试图重新设计“谁来批准 agent 行动”这一层交互边界。
  • 这篇 beyond permission prompts 的文章则进一步表明，Anthropic 也在把“批准机制”改写成“能力边界设计”：不是只问 agent 该不该做，而是先限制 agent 根本能做什么。
  • 这篇 managed agents 的文章则进一步表明，Anthropic 也在把“agent 怎么跑”从单个 harness 技巧提升为平台级 runtime 设计问题。
  • 这篇 best practices 文章则进一步表明，Anthropic 不只在抽象 agent runtime，也在系统化“人应该怎样与这种 runtime 协作”，尤其是把上下文预算、验证闭环和长期项目指令变成显式实践。
  • 这篇 effective harnesses 文章则进一步表明，Anthropic 也在把“跨 context window 持续交接”单独当成一级工程问题，而不是默认交给 compaction 自然解决。
  • 这篇 think tool 文章则进一步表明，Anthropic 也在把“思考本身”工具化，把它从隐式 chain-of-thought 变成可控的中途动作。
  • 这篇 demystifying evals 的文章则表明，Anthropic 已经把 eval 当成 agent 产品开发的核心基础设施，而不是研究阶段的附属 benchmark。
  • 这篇 effective context engineering 文章则进一步表明，Anthropic 现在把很多过去分散讨论的技巧重新整合为“有限注意力预算下的上下文策划问题”。
  • 这篇 contextual retrieval 文章则表明，Anthropic 很早就在把“检索质量”当成上下文问题，而不是只当作向量搜索问题。
  • 这篇 infrastructure noise 文章则进一步表明，Anthropic 也在把“评测运行环境”当成一等实验变量，而不是默认稳定的背景条件。

ℹ️ Conflict:

  • 本页涉及的 benchmark 成绩都具有强时点性，而且部分结果会因污染识别、blocklist 和复跑策略被事后修正，不应视为稳定常量。
  • 《THE 2028 GLOBAL INTELLIGENCE CRISIS》中关于 Anthropic 被抗议围堵的情节是情景推演，不是已发生事实；它只能作为 AI labs 社会风险叙事的引用。

相关链接

Section titled “相关链接”

来源引用

Section titled “来源引用”
  • Anthropic Engineering, “Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet”, 2025-01-06: https://www.anthropic.com/engineering/swe-bench-sonnet
  • 原文摘录：[llm-wiki/raw/anthropic/Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet](/raw/anthropic/Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet.md)
  • Anthropic, “Building effective agents”, 2024-12-19.
  • 原文摘录：[llm-wiki/raw/anthropic/Building effective agents](/raw/anthropic/Building effective agents.md)
  • Anthropic, “Eval awareness in Claude Opus 4.6’s BrowseComp performance”, 发布日期未在 raw 摘录中标明。
  • 原文摘录：[llm-wiki/raw/anthropic/Eval awareness in Claude Opus 4.6’s BrowseComp performance](/raw/anthropic/Eval awareness in Claude Opus 4.6’s BrowseComp performance.md)
  • Anthropic, “Code execution with MCP - Building more efficient agents”, 2025-11-04: https://www.anthropic.com/engineering/code-execution-with-mcp
  • 原文摘录：[llm-wiki/raw/anthropic/Code execution with MCP - Building more efficient agents](/raw/anthropic/Code execution with MCP - Building more efficient agents.md)
  • Anthropic, “Designing AI-resistant technical evaluations”
  • 原文摘录：[llm-wiki/raw/anthropic/Designing AI-resistant technical evaluations](/raw/anthropic/Designing AI-resistant technical evaluations.md)
  • Anthropic, “Building a C compiler with a team of parallel Claudes”
  • 原文摘录：[llm-wiki/raw/anthropic/Building a C compiler with a team of parallel Claudes](/raw/anthropic/Building a C compiler with a team of parallel Claudes.md)
  • Anthropic, “How we built our multi-agent research system”, 2025-06-13.
  • 原文摘录：[llm-wiki/raw/anthropic/How we built our multi-agent research system](/raw/anthropic/How we built our multi-agent research system.md)
  • Anthropic, “Harness design for long-running application development”
  • 原文摘录：[llm-wiki/raw/anthropic/Harness design for long-running application development](/raw/anthropic/Harness design for long-running application development.md)
  • Anthropic, “Writing effective tools for agents — with agents”, 2025-09-11: https://www.anthropic.com/engineering/writing-effective-tools-for-agents-with-agents
  • 原文摘录：[llm-wiki/raw/anthropic/Writing effective tools for agents — with agents](/raw/anthropic/Writing effective tools for agents — with agents.md)
  • Anthropic, “Introducing advanced tool use on the Claude Developer Platform”, 2025-11-24: https://www.anthropic.com/engineering/introducing-advanced-tool-use-on-the-claude-developer-platform
  • 原文摘录：[llm-wiki/raw/anthropic/Introducing advanced tool use on the Claude Developer Platform](/raw/anthropic/Introducing advanced tool use on the Claude Developer Platform.md)
  • Anthropic, “A postmortem of three recent issues”, 2025-09-17: https://www.anthropic.com/engineering/a-postmortem-of-three-recent-issues
  • 原文摘录：[llm-wiki/raw/anthropic/A postmortem of three recent issues](/raw/anthropic/A postmortem of three recent issues.md)
  • Anthropic, “Claude Code auto mode- a safer way to skip permissions”
  • 原文摘录：[llm-wiki/raw/anthropic/Claude Code auto mode- a safer way to skip permissions](/raw/anthropic/Claude Code auto mode- a safer way to skip permissions.md)
  • Anthropic, “Beyond permission prompts- making Claude Code more secure and autonomous”, 2025-10-20.
  • 原文摘录：[llm-wiki/raw/anthropic/Beyond permission prompts- making Claude Code more secure and autonomous](/raw/anthropic/Beyond permission prompts- making Claude Code more secure and autonomous.md)
  • Anthropic, “Scaling Managed Agents-Decoupling the brain from the hands”.
  • 原文摘录：[llm-wiki/raw/anthropic/Scaling Managed Agents-Decoupling the brain from the hands](/raw/anthropic/Scaling Managed Agents-Decoupling the brain from the hands.md)
  • Anthropic, “Best Practices for Claude Code”.
  • 原文摘录：[llm-wiki/raw/anthropic/Best Practices for Claude Code](/raw/anthropic/Best Practices for Claude Code.md)
  • Anthropic, “Effective harnesses for long-running agents”, 2025-11-26.
  • 原文摘录：[llm-wiki/raw/anthropic/Effective harnesses for long-running agents](/raw/anthropic/Effective harnesses for long-running agents.md)
  • Anthropic, “The “think” tool- Enabling Claude to stop and think in complex tool use situations”, 2025-03-20.
  • 原文摘录：[llm-wiki/raw/anthropic/The “think” tool- Enabling Claude to stop and think in complex tool use situations](/raw/anthropic/The “think” tool- Enabling Claude to stop and think in complex tool use situations.md)
  • Anthropic, “Demystifying evals for AI agents”, 2026-01-09: https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
  • 原文摘录：[llm-wiki/raw/anthropic/Demystifying evals for AI agents](/raw/anthropic/Demystifying evals for AI agents.md)
  • Anthropic, “Effective context engineering for AI agents”, 2025-09-29.
  • 原文摘录：[llm-wiki/raw/anthropic/Effective context engineering for AI agents](/raw/anthropic/Effective context engineering for AI agents.md)
  • Anthropic, “Introducing Contextual Retrieval”, 2024-09-19.
  • 原文摘录：[llm-wiki/raw/anthropic/Introducing Contextual Retrieval](/raw/anthropic/Introducing Contextual Retrieval.md)
  • Anthropic, “Quantifying infrastructure noise in agentic coding evals”, 发布日期未在 raw 摘录中标明。
  • 原文摘录：[llm-wiki/raw/anthropic/Quantifying infrastructure noise in agentic coding evals](/raw/anthropic/Quantifying infrastructure noise in agentic coding evals.md)
  • CitriniResearch, “THE 2028 GLOBAL INTELLIGENCE CRISIS”, 2026-02-23: https://www.citriniresearch.com/p/2028gic?utm_source=chatgpt.com
  • 原文摘录：[llm-wiki/raw/01_AI/THE 2028 GLOBAL INTELLIGENCE CRISIS](/raw/01_AI/THE 2028 GLOBAL INTELLIGENCE CRISIS.md)