概念SWE-bench基准测试AI 编程Agent模型评测Terminal Bench

SWE-bench

SWE-bench 用真实 GitHub issue + 单元测试验收考 AI 编程 Agent：自主定位、改代码、跑通测试。它是 AI 编程能力最硬的基准，也是 2026 年国产 Agent 硬刚 Claude Code 的主战场。

发布 2026-08-30更新 2026-08-30

什么是 SWE-bench

SWE-bench 是目前衡量「AI 解决真实软件工程问题能力」最被引用的基准。它的考题不是刷题网站式的算法题，而是真实开源项目的真实 issue：

一句话：考的是「给一个陌生代码库和一个 bug 报告，你能不能像人类工程师一样把它修好」。这比 HumanEval 这类「从零写函数」的题目难一个数量级——它考检索、考工程直觉、考对既有代码的敬畏，而不只是生成能力。

变体	特点
SWE-bench（原版）	12 个 Python 开源项目（Django、sympy、scikit-learn 等），约 2294 题
SWE-bench Verified	500 题人工复核版——剔除了「issue 描述不清 / 测试本身有问题」的噪声题，公认最可信
SWE-bench Lite	精选子集，跑分快，常用于快速迭代
SWE-bench Pro / Multimodal 等	更难、更大规模或带界面截图的新一代扩展，2026 年前排 Agent 的主战场

看榜时务必分清变体：「SWE-bench Verified 60%」和「SWE-bench Lite 60%」完全不可比。Lite 和原版的题目更容易混进「测试本身就宽松」的样本，分数天然虚高。

SWE-bench 排行榜是 2026 年国产 AI 编程工具硬刚 Anthropic 的主战场：

小米 MiMo Code：SWE-bench Pro 62%、Terminal Bench 2 73%，双双超过 Claude Code 同期成绩——国产 Agent 第一次在权威基准上正面超越
月之暗面 K2.7 Code：官方称在 HumanEval、SWE-bench、LiveCodeBench 等编程基准上对标 Claude Sonnet 4
阿里 Qwen3-Coder：开源模型 SWE-bench SOTA 的常客
智谱 GLM-5.3-Flash：独立成绩官方暂未完整披露，是开源社区接下来的看点之一

配套的 Terminal Bench 2 考的是终端环境里的长程工具调用（装环境、跑命令、多步骤排障），与 SWE-bench 互为补充：一个考「会改代码」，一个考「会用机器」。

SWE-bench 分数高不代表实战体验好，四个已知缺口：

题目分布窄。原版集中在 Python 后端库的 bug 修复，前端、移动端、嵌入式、巨型单体架构覆盖薄弱。你的真实项目未必长这样
issue 描述偏干净。真实需求常常是「老板说要支持 SSO，具体怎样你看着办」——需求本身模糊、要人去问。SWE-bench 的 issue 多数有明确验收路径
测试即真理的漏洞。过测 = 答对，但「为过测而过测」（比如把断言改了、特判了输入）在长榜历史上出现过争议。Verified 子集就是为了压制这类噪声
单题短程 vs 真实长程。真实任务是数小时的连续工作流，会累积 Context Rot；基准是独立短题，考不出上下文管理能力

所以本站的读法一直是：基准是入场券，不是体验本身。SWE-bench Pro 62% 证明 MiMo 有第一梯队的「解题硬件」，但装上之后的日常手感、稳定性、中文场景表现，要看工具卡实测。