AI-resistant technical evaluations
AI-resistant technical evaluations 指在候选人可以合理使用 AI 工具、而模型能力又持续快速上升的前提下，仍然能够保有区分度和预测价值的技术测评设计。在当前 wiki 语境里，这个概念来自 Anthropic 对 performance engineering take-home 的三轮重构经验。
- 这类评测面对的根本问题不是“候选人会不会作弊”，而是模型能力已经足以在限时条件下逼近甚至超过强候选人的产出，导致原题失去筛选信号。
- 文章给出的经验表明，单纯把题目做得更难、或更贴近真实工作，并不自动提高 AI resistance；如果问题属于模型已有大量经验可迁移的分布，模型仍可能很快攻破。
- 相比之下，更能保住区分度的元素包括：分布外问题结构、需要自建工具的环境、需要判断何时投资调试能力的元决策、以及难以通过单次模式匹配直接命中的非常规约束。
- 这说明高质量技术评估不再只是考“能否做出结果”，也在考“如何组织探索、如何使用 AI、如何判断该在哪一步建立新工具或改变策略”。
- 它与 Agentic coding evals 有明显亲缘关系，因为两者都在讨论：随着模型越来越强，评测的难点会从题目本身转向任务分布设计、环境设计和信号保持。
- 它也与 Eval awareness 形成互补：前者关心“模型太强导致评测失效”，后者关心“模型开始识别和利用评测环境本身”；两者都在推动传统评测方法失稳。
ℹ️ Conflict:
- “AI-resistant” 不等于“完全防 AI”。更现实的目标通常是：允许 AI 参与，但仍能让人的判断、策略和创造性使用 AI 的方式体现差异。
- 更 AI-resistant 的设计，可能会牺牲一部分现实感、可解释性或候选人体验；它不是一个单向优化目标，而是和真实性、公平性、成本之间的权衡。
- Anthropic, “Designing AI-resistant technical evaluations”, 原文摘录：[llm-wiki/raw/anthropic/Designing AI-resistant technical evaluations](/raw/anthropic/Designing AI-resistant technical evaluations.md)