跨 run · 谁更好、能否比较
实验对比
回答：这些 run 能不能放在一起比，比出来说明什么。同榜才有可比性；评分口径（锁里的评测指纹：评分器、视图数据、目标、护栏 seed 等）或预算不同的 run 分在不同的组，互相是不可直接比较?评分口径、数据纪元、预算或 seed 不同，分数不能放在同一把尺子上排序；只能当各自的描述。。受控比较按 13_records.md 的预注册规则，每臂至少 3 次搜索重复；表里「同组重复」只是按实验名归组的次数，不认证公平性。seed 不同是重复的本意，不作为分组条件。
读这张表时最容易读错的三件事
- 相对基线的差用的是实测照抄基线（本流水线把输入阶段原样提交的官网结果，T1 为 46.9），不是评分器的 50 分参考线。
- 官网分是单次提交；同榜某个 run 高一点，不能说成方法更好。多 seed 的结论只对冻结权重?多个 seed 复用同一份训练好的权重。冻结权重下的多 seed 结论不代表重新训练也稳定（18 号文 §1）。成立，不代表重新训练也稳定（18_carryover_and_seed_policy.md §1）。
- 数据纪元（挂载了哪些动态数据）不在分组条件里：档案按节点记录，本页没有汇总；同组 run 的数据纪元是否一致，需要进单 run 页核对。
T1 验证（E8.5 + E9.5 → E10.5）
23 次正式运行，分成 13 个可比组；实测照抄基线（官网）46.9。
| run | 假设 / 目的 | 变因 | 版本 | 预算 · seed | 终选 | 官网分 | 相对实测基线 | 同组重复 |
|---|---|---|---|---|---|---|---|---|
| 可比组 A 口径 #333711 · 预算 4.5 h · 6 个 run 评分条件与预算相同，组内可以并排比 | ||||||||
| A/B/C 框架对比 / C 组 10-02 03:42 · 已结束 | 未登记 | 未登记 | 未登记 | 4.5 h seed 未登记 | 选中 n58 | — | — | 6 次 |
| A/B/C 框架对比 / A 组 10-02 03:42 · 已结束 | 未登记 | 未登记 | 未登记 | 4.5 h seed 未登记 | 选中 n33 | 50.1 | +3.2 | 6 次 |
| A/B/C 框架对比 / B 组 10-02 03:42 · 已结束 | 未登记 | 未登记 | 未登记 | 4.5 h seed 未登记 | 选中 n23 | 47.7 | +0.8 | 6 次 |
| A/B/C 框架对比 / B 组 10-01 23:37 · 已结束 | 未登记 | 未登记 | 未登记 | 4.5 h seed 未登记 | 选中 n23 | — | — | 6 次 |
| A/B/C 框架对比 / C 组 10-01 23:37 · 已结束 | 未登记 | 未登记 | 未登记 | 4.5 h seed 未登记 | 选中 n43 | — | — | 6 次 |
| A/B/C 框架对比 / A 组 10-01 23:37 · 已结束 | 未登记 | 未登记 | 未登记 | 4.5 h seed 未登记 | 选中 n26 | 49.7 | +2.8 | 6 次 |
| 可比组 B 口径 #fb8830 · 预算 4.5 h · 4 个 run 评分条件与预算相同，组内可以并排比 | ||||||||
| screen_abcd / C 组 10-02 20:29 · 已结束 | 未登记 | 未登记 | 未登记 | 4.5 h seed 未登记 | 选中 n52 | 47.8 | +0.9 | 4 次 |
| screen_abcd / D 组 10-02 20:29 · 已结束 | 未登记 | 未登记 | 未登记 | 4.5 h seed 未登记 | 选中 n22 | 53.4 | +6.5 | 4 次 |
| screen_abcd / A 组 10-02 20:29 · 已结束 | 未登记 | 未登记 | 未登记 | 4.5 h seed 未登记 | 选中 n19 | 52.0 | +5.1 | 4 次 |
| screen_abcd / B 组 10-02 20:29 · 已结束 | 未登记 | 未登记 | 未登记 | 4.5 h seed 未登记 | 选中 n14 | 49.5 | +2.6 | 4 次 |
| 可比组 C 口径 #5a6042 · 预算 4.5 h · 2 个 run 评分条件与预算相同，组内可以并排比 | ||||||||
| t1_round2 / D 组 10-03 09:34 · 已结束 | 未登记 | 未登记 | 未登记 | 4.5 h seed 未登记 | 选中 n21 | 55.0 | +8.1 | 2 次 不足 3 次，不下结论 |
| t1_round2 / D 组 10-03 09:34 · 已结束 | 未登记 | 未登记 | 未登记 | 4.5 h seed 未登记 | 选中 n25 | 50.1 | +3.2 | 2 次 不足 3 次，不下结论 |
| 可比组 D 口径 #cb5e01 · 预算 1 h · 2 个 run 评分条件与预算相同，组内可以并排比 | ||||||||
| G23 验收 10-01 14:05 · 已结束 | [回填] G23 acceptance (also the G7 concurrency test): a 1-hour real T1 run on the DGX Spark,…全文[回填] G23 acceptance (also the G7 concurrency test): a 1-hour real T1 run on the DGX Spark, concurrency 5, qwen3.8-max. Temporary objective until G21 decides: equal weights proxy / proxy2 / X3 (truth half B), holdout X1 (final only). harness.py launch --config agent/configs/search_t1_g23_spark.yaml [--allow-dirty] | 未登记 | e8d2570+dirty 代码有未提交改动 | 1 h seed search_seed=0; programs=copy_last,heart_jcf_peri,pseudobulk_shift; promotion=1,2 | 选中 n14 | — | — | 2 次 不足 3 次，不下结论 |
| G23 验收 10-01 13:59 · 已停止 | [回填] G23 acceptance (also the G7 concurrency test): a 1-hour real T1 run on the DGX Spark,…全文[回填] G23 acceptance (also the G7 concurrency test): a 1-hour real T1 run on the DGX Spark, concurrency 5, qwen3.8-max. Temporary objective until G21 decides: equal weights proxy / proxy2 / X3 (truth half B), holdout X1 (final only). harness.py launch --config agent/configs/search_t1_g23_spark.yaml [--allow-dirty] | 未登记 | e8d2570+dirty 代码有未提交改动 | 1 h seed search_seed=0; programs=copy_last,heart_jcf_peri,pseudobulk_shift; promotion=1,2 | 待补终选记录 | — | — | 2 次 不足 3 次，不下结论 |
| 无同口径对照 口径 #0a9b4e · 预算 2.5 h · 本榜没有同口径同预算的其他 run | ||||||||
| 新目标机制检查 10-02 13:54 · 已结束 | 未登记 | 未登记 | 未登记 | 2.5 h seed 未登记 | 回退基线 | 46.9 | +0.0 | 1 次 不足 3 次，不下结论 |
| 无同口径对照 口径 #a6dbfb · 预算 1.25 h · 本榜没有同口径同预算的其他 run | ||||||||
| G21 快速校准 / D 组 10-01 20:44 · 已结束 | 未登记 | 未登记 | 未登记 | 1.25 h seed 未登记 | 选中 n4 | — | — | 4 次 |
其余 7 个可比组（较早或较小的组）
| run | 假设 / 目的 | 变因 | 版本 | 预算 · seed | 终选 | 官网分 | 相对实测基线 | 同组重复 |
|---|---|---|---|---|---|---|---|---|
| 无同口径对照 口径 #4307cf · 预算 1.25 h · 本榜没有同口径同预算的其他 run | ||||||||
| G21 快速校准 / A 组 10-01 20:44 · 已结束 | 未登记 | 未登记 | 未登记 | 1.25 h seed 未登记 | 选中 n8 | 47.2 | +0.3 | 4 次 |
| 无同口径对照 口径 #a19224 · 预算 1.25 h · 本榜没有同口径同预算的其他 run | ||||||||
| G21 快速校准 / B 组 10-01 20:44 · 已结束 | 未登记 | 未登记 | 未登记 | 1.25 h seed 未登记 | 选中 n7 | 47.8 | +0.9 | 4 次 |
| 无同口径对照 口径 #473f47 · 预算 1.25 h · 本榜没有同口径同预算的其他 run | ||||||||
| G21 快速校准 / C 组 10-01 20:44 · 已结束 | 未登记 | 未登记 | 未登记 | 1.25 h seed 未登记 | 选中 n7 | 47.0 | +0.1 | 4 次 |
| 无同口径对照 口径 #c3552e · 预算 2 h · 本榜没有同口径同预算的其他 run | ||||||||
| G18 验收（接续搜索） 10-01 11:44 · 已结束 | [回填] G18 acceptance 3: a short real run continued from 20261001-032558-search-t1-spark-c3 …全文[回填] G18 acceptance 3: a short real run continued from 20261001-032558-search-t1-spark-c3 (3 new nodes, concurrency 3, qwen3.8-max), node score = 0.5 proxy + 0.5 proxy2, promotion of the top 5 with seeds 1 and 2. harness.py launch --config agent/configs/search_t1_g18_continue.yaml --continue-from 20261001-032558-search-t1-spark-c3 | 未登记 | b8e4103+dirty 代码有未提交改动 | 2 h seed search_seed=0; programs=copy_last,heart_jcf_peri,pseudobulk_shift; promotion=1,2 | 选中 n8 | — | — | 1 次 不足 3 次，不下结论 |
| 不可直接比较 评测指纹未记录（单 Agent 或没有锁），不能确认与任何 run 可比（预算 3 h） | ||||||||
| G6 验收（首批 Spark 运行） 10-01 03:25 · 已结束 | [回填] G6 acceptance 4 (reviewer addition): the same search with three nodes in flight (3 se…全文[回填] G6 acceptance 4 (reviewer addition): the same search with three nodes in flight (3 seeds + 6 nodes), to measure contention (GPU slot, scoring queue, vec.slice memory, CPU, Token Plan rate limits) against concurrency 1. | 未登记 | dfe4e25+dirty 代码有未提交改动 | 3 h seed search_seed=0; programs=copy_last,heart_jcf_peri,pseudobulk_shift | 选中 n8 | — | — | 3 次 |
| 不可直接比较 评测指纹未记录（单 Agent 或没有锁），不能确认与任何 run 可比（预算 2 h） | ||||||||
| G6 验收（首批 Spark 运行） 10-01 02:49 · 已结束 | [回填] G6 acceptance 4 (comparison): one node with the Engineer on default thinking (options…全文[回填] G6 acceptance 4 (comparison): one node with the Engineer on default thinking (options {}); otherwise = search_t1_spark.yaml. | 未登记 | dfe4e25+dirty 代码有未提交改动 | 2 h seed search_seed=0; programs=copy_last,heart_jcf_peri,pseudobulk_shift | 选中 n1 | — | — | 3 次 |
| 不可直接比较 评测指纹未记录（单 Agent 或没有锁），不能确认与任何 run 可比（预算 4 h） | ||||||||
| G6 验收（首批 Spark 运行） 10-01 00:42 · 已结束 | [回填] G6 acceptance 4: real search on the DGX Spark, opencode + qwen3.8-max (Token Plan), 3…全文[回填] G6 acceptance 4: real search on the DGX Spark, opencode + qwen3.8-max (Token Plan), 3 seeds + 3 nodes, one node at a time, Engineer thinking budget 4096 (note 10 §4.7). | 未登记 | d3bd71c+dirty 代码有未提交改动 | 4 h seed search_seed=0; programs=copy_last,heart_jcf_peri,pseudobulk_shift | 选中 n4 | — | — | 3 次 |
T2 全胚插值
6 次正式运行，分成 4 个可比组；这个榜还没有唯一可确认的实测照抄基线，不算相对差。
| run | 假设 / 目的 | 变因 | 版本 | 预算 · seed | 终选 | 官网分 | 相对实测基线 | 同组重复 |
|---|---|---|---|---|---|---|---|---|
| 可比组 A 口径 #99224e · 预算 4 h · 3 个 run 评分条件与预算相同，组内可以并排比 | ||||||||
| G24 T2/T3 首跑 / D 组 10-03 04:34 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | 选中 n30 | — | — | 4 次 |
| G24 T2/T3 首跑 / D 组 10-03 00:49 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | 选中 n24 | 61.7 | — | 4 次 |
| G24 T2/T3 首跑 10-03 00:49 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | 选中 n21 | 59.9 | — | 4 次 |
| 无同口径对照 口径 #3f4003 · 预算 12 h · 本榜没有同口径同预算的其他 run | ||||||||
| 运行链 10-03 17:19 · 运行中 | 未登记 | 未登记 | 未登记 | 12 h seed 未登记 | 等待终选 | — | — | 1 次 不足 3 次，不下结论 |
| 无同口径对照 口径 #14c5f8 · 预算 4 h · 本榜没有同口径同预算的其他 run | ||||||||
| G24 T2/T3 首跑 / D 组 10-03 09:42 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | 选中 n15 | 61.7 | — | 4 次 |
| 无同口径对照 口径 #99224e · 预算 1.5 h · 本榜没有同口径同预算的其他 run | ||||||||
| G24q 10-02 20:45 · 已结束 | 未登记 | 未登记 | 未登记 | 1.5 h seed 未登记 | 选中 n5 | 60.0 | — | 1 次 不足 3 次，不下结论 |
T2 心脏外推
8 次正式运行，分成 6 个可比组；这个榜还没有唯一可确认的实测照抄基线，不算相对差。
| run | 假设 / 目的 | 变因 | 版本 | 预算 · seed | 终选 | 官网分 | 相对实测基线 | 同组重复 |
|---|---|---|---|---|---|---|---|---|
| 可比组 A 口径 #2bfd3b · 预算 1 h · 3 个 run 评分条件与预算相同，组内可以并排比 | ||||||||
| G40 心脏外推尺度扫描 10-03 15:57 · 已结束 | 未登记 | 未登记 | 未登记 | 1 h seed 未登记 | 选中 n1 | — | — | 3 次 |
| G40 心脏外推尺度扫描 10-03 15:57 · 已结束 | 未登记 | 未登记 | 未登记 | 1 h seed 未登记 | 选中 n1 | — | — | 3 次 |
| G40 心脏外推尺度扫描 10-03 15:57 · 已结束 | 未登记 | 未登记 | 未登记 | 1 h seed 未登记 | 选中 n1 | — | — | 3 次 |
| 无同口径对照 口径 #39526a · 预算 12 h · 本榜没有同口径同预算的其他 run | ||||||||
| 运行链 10-03 17:20 · 运行中 | 未登记 | 未登记 | 未登记 | 12 h seed 未登记 | 等待终选 | — | — | 1 次 不足 3 次，不下结论 |
| 无同口径对照 口径 #6c6e23 · 预算 4 h · 本榜没有同口径同预算的其他 run | ||||||||
| G24 T2/T3 首跑 / D 组 10-03 10:55 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | 回退基线 | — | — | 3 次 |
| 无同口径对照 口径 #7cca0d · 预算 4 h · 本榜没有同口径同预算的其他 run | ||||||||
| G24 T2/T3 首跑 / D 组 10-03 10:55 · 已停止 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | 待补终选记录 | — | — | 3 次 |
| 无同口径对照 口径 #979cc0 · 预算 4 h · 本榜没有同口径同预算的其他 run | ||||||||
| G24 T2/T3 首跑 / D 组 10-03 07:02 · 已停止 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | 待补终选记录 | — | — | 3 次 |
| 无同口径对照 口径 #979cc0 · 预算 1.5 h · 本榜没有同口径同预算的其他 run | ||||||||
| G24q 10-02 20:45 · 已结束 | 未登记 | 未登记 | 未登记 | 1.5 h seed 未登记 | 选中 n5 | 49.6 | — | 1 次 不足 3 次，不下结论 |
T2 心脏插值
5 次正式运行，分成 3 个可比组；这个榜还没有唯一可确认的实测照抄基线，不算相对差。
| run | 假设 / 目的 | 变因 | 版本 | 预算 · seed | 终选 | 官网分 | 相对实测基线 | 同组重复 |
|---|---|---|---|---|---|---|---|---|
| 可比组 A 口径 #e9275e · 预算 4 h · 3 个 run 评分条件与预算相同，组内可以并排比 | ||||||||
| G24 T2/T3 首跑 / D 组 10-03 04:34 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | 选中 n21 | — | — | 4 次 |
| G24 T2/T3 首跑 10-03 00:49 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | 选中 n18 | 61.1 | — | 4 次 |
| G24 T2/T3 首跑 / D 组 10-03 00:49 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | 选中 n19 | 63.9 | — | 4 次 |
| 无同口径对照 口径 #94e3d1 · 预算 4 h · 本榜没有同口径同预算的其他 run | ||||||||
| G24 T2/T3 首跑 / D 组 10-03 09:42 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | 选中 n30 | — | — | 4 次 |
| 无同口径对照 口径 #e9275e · 预算 1.5 h · 本榜没有同口径同预算的其他 run | ||||||||
| G24q 10-02 20:45 · 已结束 | 未登记 | 未登记 | 未登记 | 1.5 h seed 未登记 | 选中 n5 | 62.9 | — | 1 次 不足 3 次，不下结论 |
T3 Gata4 敲除
7 次正式运行，分成 7 个可比组；这个榜还没有唯一可确认的实测照抄基线，不算相对差。
| run | 假设 / 目的 | 变因 | 版本 | 预算 · seed | 终选 | 官网分 | 相对实测基线 | 同组重复 |
|---|---|---|---|---|---|---|---|---|
| 不可直接比较 评测指纹未记录（单 Agent 或没有锁），不能确认与任何 run 可比（预算 12 h） | ||||||||
| 运行链 10-03 17:20 · 已结束 | 未登记 | 未登记 | 未登记 | 12 h seed 未登记 | Agent 自选交付 | — | — | 1 次 不足 3 次，不下结论 |
| 不可直接比较 评测指纹未记录（单 Agent 或没有锁），不能确认与任何 run 可比（预算 4 h） | ||||||||
| 早期 Agent / komix-a 10-03 15:57 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | Agent 自选交付 | — | — | 3 次 |
| 不可直接比较 评测指纹未记录（单 Agent 或没有锁），不能确认与任何 run 可比（预算 4 h） | ||||||||
| 早期 Agent / komix-b 10-03 15:57 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | Agent 自选交付 | — | — | 3 次 |
| 不可直接比较 评测指纹未记录（单 Agent 或没有锁），不能确认与任何 run 可比（预算 4 h） | ||||||||
| 早期 Agent / komix-c 10-03 15:57 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | Agent 自选交付 | — | — | 3 次 |
| 不可直接比较 评测指纹未记录（单 Agent 或没有锁），不能确认与任何 run 可比（预算 4 h） | ||||||||
| G24 T2/T3 首跑 10-03 04:34 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | Agent 自选交付 | 41.0 | — | 2 次 不足 3 次，不下结论 |
| 不可直接比较 评测指纹未记录（单 Agent 或没有锁），不能确认与任何 run 可比（预算 4 h） | ||||||||
| G24 T2/T3 首跑 10-02 23:10 · 已结束 | 未登记 | 未登记 | 未登记 | 4 h seed 未登记 | Agent 自选交付 | 53.4 | — | 2 次 不足 3 次，不下结论 |
| 不可直接比较 评测指纹未记录（单 Agent 或没有锁），不能确认与任何 run 可比（预算 1.5 h） | ||||||||
| G24q 10-02 21:54 · 已结束 | 未登记 | 未登记 | 未登记 | 1.5 h seed 未登记 | Agent 自选交付 | 45.9 | — | 1 次 不足 3 次，不下结论 |