Terminal-Bench

什么是 Terminal-Bench

Terminal-Bench 是一类面向终端环境的 Agent 基准：给 Agent 一个真实的命令行环境（通常是一个容器），提出一个需要多步操作才能完成的目标，然后用脚本自动验收结果。

它考的不是「能不能写出正确的代码」，而是能不能把这台机器用好：

• 装依赖、配环境、改配置文件；
• 读懂报错并据此调整下一步；
• 在几十步的操作序列里不跑偏、不中途放弃；
• 最终产出一个可被机器验收的状态（文件、服务、命令输出）。

这也是它和 SWE-bench 最本质的分工：SWE-bench 考「解题」——给一个真实 issue，定位并修复，用单元测试验收；Terminal-Bench 考「用机器」——环境本身就是考题的一部分。两者都强的模型，才适合做终端 Agent 的底座，原因见智能体编程。

为什么 2026 年它变得这么重要

2026 年编程 Agent 的主战场从「补全和改代码」转向「长时间自主干活」。一旦 Agent 的运行时长从几秒拉到几小时，决定成败的能力就变了：

Terminal-Bench 恰好集中考后三项，所以它成为各家发布模型时最常引用的硬指标之一——本站多张模型卡都把它和 SWE-bench 并列，例如 Claude Fable 5.1、GPT-6 Astra、DeepSeek V4.1 Flash。

版本：2.0 / 2.1 / 4.0 的难度不是一条线

站内引用到的版本主要有三代，它们的任务集、难度与验收方式都发生过变化：

最重要的一条纪律：跨版本分数不可比较。 看到「某模型 Terminal-Bench 90.6」时，第一反应应该是问「哪个版本、什么 harness」。90.6（2.1）与 57.9（4.0）之间不是差距，而是两把不同的尺子。

4.0 到底改了什么（官方公告要点）

Terminal-Bench 团队在 4.0 发布说明里解释了为什么这次是 4.0 而不是 3.1，以及这次改动为什么必须重跑基线。要点如下（依据 Terminal-Bench 4.0 官方公告）：

运行入口也已统一到 Harbor 框架：harbor run -d terminal-bench/terminal-bench@4.0.0。官方同时预告：4.1 聚焦 verifier 改进（抗篡改 verifier），5.0 将加入新任务。

一个提醒：官方榜单与厂商自报分常常对不上

访问官方榜首页（2026-09-23 快照）看到的前列与厂商发布稿里的数字并不一致，例如官方榜记为 Opus 5（max，Claude Code）51.8% ± 3.4%、Fable 5（max）44.5% ± 3.8%、GLM-5.3（max）41.8% ± 3.2%、GPT-5.6 Sol（max，Codex）37.3% ± 3.8%；而厂商发布稿里同代模型常出现 55%–59% 的自报值。

这不是谁在造假，而是effort 档位、harness、版本、快照时点四个变量叠加的结果。正确做法是：引用时把这四个变量一起写出来，否则数字没有可比性。

三个最常见的读分坑

坑一：厂商自己的 harness 不等于官方榜单

同一个模型，跑在自家 CLI 里和跑在基准官方 harness 里，分数可以差很远。部分厂商公布的是「自家 harness 自测分」，并明确说明尚未进入官方榜单——这类数字只能当作参考区间，不能与官方榜单并列排名。

判断方法很简单：看有没有说清 harness。只给分数不给运行环境的，按「信息不全」处理。

坑二：单题短程 ≠ 实战长程

基准里的任务通常边界清晰、验收确定。真实仓库里的脏上下文、隐式依赖、历史包袱会被成倍放大，所以榜单领先不等于你的仓库里也领先。选型时最可靠的仍然是用自己的仓库抽样 20 题——这一点与 SWE-bench 读榜的纪律完全一致。

坑三：只看分数不看成本

两个模型分数接近时，成本往往差几倍。长程 Agent 场景应该同时看单次任务成本：把「分数 / 每任务花费」一起放在表里比较，才是有决策价值的对比。这也是本站模型卡普遍同时标注基准与定价的原因。

与相邻基准怎么搭配看

一个模型如果在 Terminal-Bench 很强但 SWE-bench 一般，通常说明工具调用与自我修正强、代码理解偏弱——反过来则相反。两张榜单一起看，才能判断它适合当「执行层」还是「规划层」，这也正是多 Agent 编排里分工的依据。

哪些工具吃这个分数

终端形态的 Agent 是 Terminal-Bench 分数的直接受益方，也是主要引用方：

• Claude Code —— 终端 Agent 的标杆参照系
• Codex CLI —— 与 Claude Code 长期并列对比
• MiMo Code —— 国产阵营中主打终端基准的一档
• Gemini CLI —— Google 的终端入口

FAQ

Terminal-Bench 和 SWE-bench 该看哪个？ 看你要它干什么。选代码修复与仓库理解能力看 SWE-bench；选长程自主执行能力看 Terminal-Bench。做终端 Agent 底座的话，两个都要看，且都要确认版本。

为什么同一篇发布稿里 Terminal-Bench 2.1 很高但 4.0 很低？ 正常现象。4.0 难度显著提高、任务更贴近真实长程，多数模型在 4.0 上都会大幅回落。如果一个模型只公布 2.1 而回避 4.0，应视为信息不完整。

分数接近时怎么选模型？ 比每任务成本，再比稳定性（长会话是否跑偏）。具体方法见长上下文中关于成本与上下文管理的取舍。

延伸阅读

• SWE-bench：基准怎么读才不被忽悠
• Agentic Coding：什么是智能体编程
• 多 Agent 编排：coordinator / worker 模式
• Claude Fable 5.1 模型卡
• GPT-6 Astra 模型卡
• DeepSeek V4.1 Flash 模型卡
• Kimi K3 模型卡
• Claude Code 工具卡
• Codex CLI 工具卡
• 长上下文：成本与上下文管理

来源

• Terminal-Bench 4.0 官方发布说明（资源标定 / 任务增减 / 版本策略）
• Terminal-Bench 官方榜单首页（2026-09-23 访问快照）
• Artificial Analysis — Terminal-Bench v4.0 独立复现与方法论

本文同时参考了本站已核实的模型卡（各卡均标注基准版本与一手来源，见上方延伸阅读）。Terminal-Bench 的任务集、版本难度与官方榜单以官方发布为准；厂商自选 harness 自报的分数在本文中一律按「参考区间」处理，未与官方榜单并列排名。