tb4-five-arm

# Terminal-Bench 4.0 五臂对照 五臂定义、LoopX profile 装配、agent 类、监控工具全部与 [[swe-marathon-five-arm]] 相同，**先读那一份**。这里只写 TB4 特有的部分。 对照维度仍是 **harness 不是模型**：五臂的模型、effort、工具面、沙箱、容器一致。 ## 切换方式 ```bash export WEN_BENCH=tb4 # 必须 export，见下面「最毒的一个坑」 source env.sh ./scripts/prebuild_images.sh music-harmony # 应建 2 个镜像，不是 1 个 ./scripts/verify_envs.sh music-harmony # install-only，不烧 token ./scripts/canary_timeout.sh # 五臂 × 短死线 ./scripts/marathon_all.sh --dry # 63 任务 × 5 臂 = 315 trial ``` benchmark 相关的量全在 `scripts/bench/tb4.sh`，驱动脚本里没有任何 TB4 常量。 `WEN_BENCH` 不设时默认 `swe-marathon`，行为与引入 bench 层之前逐字一致 （已用 `bash -x` 逐参数 diff 验证过）。 ## 数据来源 `terminal-bench/` 是 `harbor-framework/terminal-bench` 的 **tag v4.0.0** （commit `452bf305c6`），66 个任务，见 `terminal-bench/VERSION`。 - **不能用 `harbor run -d terminal-bench@4.0`**：harbor 的注册表（Supabase `dataset` 表）里只有 `terminal-bench@2.0`，实测查 4.0 返回 `null`。 - **不要跟 main**：上游 README 明说 "will be continuously updated"， 跟 main 跑出来的结果不可复现。 - `tasks/dataset.toml` 里每个任务有 sha256 digest，`task.toml` 与 `tests/` 一个字节都不能改。要注入环境变量走 harbor 的 `--ve` / `--ae`。 ## TB4 vs SWE-Marathon：四处结构性差异 | 项 | SWE-Marathon | TB4.0 | |---|---|---| | `agent.timeout_sec` | 3600–36000 各异 | **全部 28800（统一 8h）** | | `verifier.environment_mode` | 无（shared） | **全部 `separate`** | | `network_mode` | 三态，逐任务 | **一个都没声明** → harbor 默认 public | | 每任务镜像数 | 1（`environment/`） | **2（`environment/` + `tests/`）** | | 连续分 | `metrics.json` 有 | **没有**，只有二值 reward | 排除 3 个要 ...