实验登记
实验登记?每次运行一行或几行的总账（notes/changelogs/runs.tsv），只追加不改写。记下每次运行的目的、假设?运行前预期会看到的结果，事后拿来对照。、代码版本、配置、结果和官网分。 共 36 次运行（正式 8、测试 28），其中 1 次有官网分。时间为北京时间。
消融实验?只改一个因素、其他都不变，每一组至少重复 3 次，比较这个因素有没有用。
每组至少重复 3 次；判定?事先写好的规则：均值差大于噪声阈值，并且差值的 95% 置信区间不含 0，才算改进。只看事先写好的规则，不看单次高分。
还没有消融实验。配置里写上 ablation_of 和 changed_factor 的运行，会在这里按组汇总。
每把尺子和官网分的排序一致性?本地尺子和官网分数的排序有多一致：1 表示完全一致，0 表示无关，负数表示相反；至少 3 个有官网分的点才计算。
用登记表里所有有官网分的运行计算；95% 置信区间由 1000 次重抽样得到。
| 尺子 | 有官网分的点数 | 排序一致性 | 95% 置信区间?把重复结果反复重抽样算出的范围；不含 0 才说明差别不是偶然。 |
|---|---|---|---|
| proxy | 1 | — （不到 3 个点或分数没有差别） | — |
| X1 | 1 | — （不到 3 个点或分数没有差别） | — |
| X3 | 1 | — （不到 3 个点或分数没有差别） | — |
| X4 | 1 | — （不到 3 个点或分数没有差别） | — |
| X5 | 1 | — （不到 3 个点或分数没有差别） | — |
正式运行
| 开始时间 | 运行?一次完整的自动搜索或 Agent 会话，有自己的锁定配置和证据包。 | 题目?比赛的哪道题、哪个阶段，例如 T1:val 是第 1 题的验证阶段。 | 目的?这次运行为了回答什么问题，写在配置文件里。 | 消融实验 | 代码版本?运行锁定时代码仓库的 git 提交号；带 +dirty 表示当时有未提交的改动。 | 搜索目标?这次运行用哪几把尺子、按什么权重合成分数来比较节点；目标不同的运行，最佳分不能直接比。 | 状态 | 节点?搜索树里的每个候选程序。 | 最好排序分?搜索树里排序用的最好分数：有 3 次复测时用均分，否则用单次分。 | 官网分?官网 P2 返回的真实分数。 |
|---|---|---|---|---|---|---|---|---|---|---|
| 10-01 14:05 | 20261001-140531-search-t1-g23-spark 终选程序的本地分：proxy 55.1 · proxy2 55.1 · 3 次复测均分 54.1 · X1 53.9 · X3 52.3 | T1:val | [回填] G23 acceptance (also the G7 concurrency test): a 1-hour real T1 run on the DGX Spark, concurrency 5, qwen3.8-max. Temporary objective … | — | e8d2570dc2 代码有未提交改动 | proxy+proxy2+X3 等权；终检 X1 | 已结束 回填 | 16 | 54.1 | — |
| 10-01 13:59 | 20261001-135922-search-t1-g23-spark | T1:val | [回填] G23 acceptance (also the G7 concurrency test): a 1-hour real T1 run on the DGX Spark, concurrency 5, qwen3.8-max. Temporary objective … | — | e8d2570dc2 代码有未提交改动 | proxy+proxy2+X3 等权；终检 X1 | 运行中 回填 | 3 | 53.3 | — |
| 10-01 11:44 | 20261001-114429-search-t1-g18-continue 终选程序的本地分：proxy 57.9 · proxy2 57.9 · 3 次复测均分 58.1 · X1 48.1 | T1:val | [回填] G18 acceptance 3: a short real run continued from 20261001-032558-search-t1-spark-c3 (3 new nodes, concurrency 3, qwen3.8-max), node s… | — | b8e4103fc9 代码有未提交改动 | proxy+proxy2 等权 | 已结束 回填 | 3 | 58.1 | — |
| 10-01 03:25 | 20261001-032558-search-t1-spark-c3 终选程序的本地分：proxy 57.9 · 3 次复测均分 58.1 · X1 48.1 | T1:val | [回填] G6 acceptance 4 (reviewer addition): the same search with three nodes in flight (3 seeds + 6 nodes), to measure contention (GPU slot, … | — | dfe4e25306 代码有未提交改动 | proxy | 已结束 回填 | 9 | 58.1 | — |
| 10-01 02:49 | 20261001-024931-search-t1-spark-eng-default 终选程序的本地分：proxy 49.8 · 3 次复测均分 49.2 · X1 50.0 | T1:val | [回填] G6 acceptance 4 (comparison): one node with the Engineer on default thinking (options {}); otherwise = search_t1_spark.yaml. | — | dfe4e25306 代码有未提交改动 | proxy | 已结束 回填 | 4 | 56.1 | — |
| 10-01 00:42 | 20261001-004247-search-t1-spark 终选程序的本地分：proxy 57.4 · 3 次复测均分 57.5 · X1 53.8 | T1:val | [回填] G6 acceptance 4: real search on the DGX Spark, opencode + qwen3.8-max (Token Plan), 3 seeds + 3 nodes, one node at a time, Engineer th… | — | d3bd71c643 代码有未提交改动 | proxy | 已结束 回填 | 6 | 57.5 | — |
| 09-27 17:26 | 20260927-172643-grok-t1 终选程序的本地分：proxy 56.0 · X1 46.8 · X3 46.6 · X4 50.1 · X5 50.5 | T1:val | [回填] 配置 grok-t1（启动时没有 purpose 字段） | — | 5210e7d754 | Agent 自选 | 已结束 回填 | — | 56.0 | 47.2 |
| 09-25 00:18 | 20260925-001829-grok-all-boards | T1:val,T2:heart:val_interp,T2:heart:val_extrap,T2:embryo:val_interp,T3:gata4 | [回填] 配置 grok-all-boards（启动时没有 purpose 字段） | — | 42a2ad253f | Agent 自选 | 中途崩溃 回填 | — | — | — |
测试运行 （28 次，默认收起）
| 开始时间 | 运行 | 题目 | 目的 | 消融实验 | 代码版本 | 搜索目标 | 状态 | 节点 | 最好排序分 | 官网分 |
|---|---|---|---|---|---|---|---|---|---|---|
| 10-01 15:40 | 20261001-154036-search-t1-g23-fake-followup 终选程序的本地分：proxy 56.6 · proxy2 27.5 · 3 次复测均分 43.9 · X1 46.8 · X3 47.7 | T1:val | [回填] TEST ONLY (G23 follow-ups): fake backend on the Spark. Scattered provider errors (every other LLM call between 150 and 450 s) must tri… | — | a47b1afbd5 代码有未提交改动 | proxy+proxy2+X3 等权；终检 X1 | 已结束 回填 | 54 | 43.9 | — |
| 10-01 15:21 | 20261001-152125-search-t1-g23-fake-followup 终选程序的本地分：proxy 56.6 · proxy2 27.5 · 3 次复测均分 43.9 · X1 46.8 · X3 47.7 | T1:val | [回填] TEST ONLY (G23 follow-ups): fake backend on the Spark. Scattered provider errors (every other LLM call between 150 and 450 s) must tri… | — | a47b1afbd5 代码有未提交改动 | proxy+proxy2+X3 等权；终检 X1 | 已结束 回填 | 56 | 43.9 | — |
| 10-01 15:03 | 20261001-150336-search-t1-g23-fake-followup 终选程序的本地分：proxy 56.6 · proxy2 27.5 · 3 次复测均分 43.9 · X1 46.8 · X3 47.7 | T1:val | [回填] TEST ONLY (G23 follow-ups): fake backend on the Spark. Scattered provider errors (every other LLM call between 150 and 450 s) must tri… | — | a47b1afbd5 代码有未提交改动 | proxy+proxy2+X3 等权；终检 X1 | 已结束 回填 | 56 | 43.9 | — |
| 10-01 14:56 | 20261001-145651-search-t1-g23-fake-followup 终选程序的本地分：proxy 56.6 · proxy2 27.5 · 3 次复测均分 43.9 · X1 46.8 · X3 47.7 | T1:val | [回填] TEST ONLY (G23 follow-ups): fake backend on the Spark. Scattered provider errors (every other LLM call between 150 and 450 s) must tri… | — | a47b1afbd5 代码有未提交改动 | proxy+proxy2+X3 等权；终检 X1 | 已结束 回填 | 3 | 43.9 | — |
| 10-01 14:05 | 20261001-140551-search-t1-g23-fake-cont 终选程序的本地分：proxy 56.1 · proxy2 56.1 · 3 次复测均分 53.3 · X1 46.8 · X3 47.6 | T1:val | [回填] TEST ONLY (G23 D2 + C2): continues a G23 fake run (--continue-from; evidence must carry the imported lineage) and injects a provider o… | — | e8d2570dc2 代码有未提交改动 | proxy+proxy2+X3 等权；终检 X1 | 已结束 回填 | 11 | 53.3 | — |
| 10-01 14:00 | 20261001-140014-search-t1-g23-fake-cont | T1:val | [回填] TEST ONLY (G23 D2 + C2): continues a G23 fake run (--continue-from; evidence must carry the imported lineage) and injects a provider o… | — | e8d2570dc2 代码有未提交改动 | proxy+proxy2+X3 等权；终检 X1 | 运行中 回填 | 9 | 53.3 | — |
| 10-01 13:40 | 20261001-134009-search-t1-g23-fake 终选程序的本地分：proxy 56.1 · proxy2 56.1 · 3 次复测均分 53.3 · X1 46.8 · X3 47.6 | T1:val | [回填] TEST ONLY (G23 acceptance): fake LLM backend, real execution + scoring on the DGX Spark, detached unit. Exercises: objective = proxy +… | — | e8d2570dc2 代码有未提交改动 | proxy+proxy2+X3 等权；终检 X1 | 已结束 回填 | 35 | 53.3 | — |
| 10-01 12:48 | 20261001-124831-search-t1-fake 终选程序的本地分：proxy 57.9 · proxy2 57.9 · 3 次复测均分 58.1 · X1 48.1 | T1:val | [回填] TEST ONLY (G6 acceptance 2/3): the search loop with the fake LLM backend (agent/search/fake_llm.py) and real execution + scoring. The … | — | b8e4103fc9 代码有未提交改动 | proxy+proxy2 等权 | 已结束 回填 | 38 | 58.1 | — |
| 10-01 12:29 | 20261001-122903-search-t1-fake 终选程序的本地分：proxy 56.0 · proxy2 56.0 · 3 次复测均分 56.1 · X1 46.8 | T1:val | [回填] TEST ONLY (G6 acceptance 2/3): the search loop with the fake LLM backend (agent/search/fake_llm.py) and real execution + scoring. The … | — | b8e4103fc9 代码有未提交改动 | proxy+proxy2 等权 | 已结束 回填 | 40 | 56.1 | — |
| 10-01 12:27 | 20261001-122758-search-t1-fake | T1:val | [回填] TEST ONLY (G6 acceptance 2/3): the search loop with the fake LLM backend (agent/search/fake_llm.py) and real execution + scoring. The … | — | b8e4103fc9 代码有未提交改动 | proxy+proxy2 等权 | 已结束 回填 | 0 | — | — |
| 10-01 11:28 | 20261001-112808-search-t1-fake 终选程序的本地分：proxy 56.0 · proxy2 56.0 · 3 次复测均分 56.1 · X1 46.8 | T1:val | [回填] TEST ONLY (G6 acceptance 2/3): the search loop with the fake LLM backend (agent/search/fake_llm.py) and real execution + scoring. The … | — | b8e4103fc9 代码有未提交改动 | proxy+proxy2 等权 | 已结束 回填 | 5 | 56.1 | — |
| 10-01 10:56 | 20261001-105627-search-t1-fake 终选程序的本地分：proxy 56.0 · 3 次复测均分 56.1 · X1 46.8 | T1:val | [回填] TEST ONLY (G6 acceptance 2/3): the search loop with the fake LLM backend (agent/search/fake_llm.py) and real execution + scoring. The … | — | 71c7f8a840 代码有未提交改动 | proxy | 已结束 回填 | 69 | 56.1 | — |
| 10-01 10:54 | 20261001-105407-g17-researcher-probe 终选程序的本地分：proxy 57.9 · 3 次复测均分 58.1 · X1 48.1 | T1:val | [回填] Production search on the DGX Spark (note 10): 12 h, three nodes in flight, Engineer 45 min. | — | — | proxy | 未知 回填 | 9 | 58.1 | — |
| 10-01 05:54 | 20261001-055422-search-t1-fake 终选程序的本地分：proxy 56.0 · 3 次复测均分 56.1 · X1 46.8 | T1:val | [回填] TEST ONLY (G6 acceptance 2/3): the search loop with the fake LLM backend (agent/search/fake_llm.py) and real execution + scoring. The … | — | 8195e3299f 代码有未提交改动 | proxy | 已结束 回填 | 69 | 56.1 | — |
| 10-01 00:25 | 20261001-002549-search-t1-fake-kill 终选程序的本地分：proxy 56.0 · 3 次复测均分 56.1 · X1 46.8 | T1:val | [回填] TEST ONLY (G6 acceptance 3, kill test): = search_t1_fake.yaml with more drafts; the controller is killed with kill -9 during an execut… | — | d3bd71c643 代码有未提交改动 | proxy | 已结束 回填 | 16 | 56.1 | — |
| 09-30 23:37 | 20260930-233719-smoke | - | [回填] 配置 smoke（启动时没有 purpose 字段） | — | b8fd0099f0 代码有未提交改动 | Agent 自选 | 已结束 回填 | — | — | — |
| 09-30 23:32 | 20260930-233235-search-t1-fake 终选程序的本地分：proxy 56.0 · 3 次复测均分 56.1 · X1 46.8 | T1:val | [回填] TEST ONLY (G6 acceptance 2/3): the search loop with the fake LLM backend (agent/search/fake_llm.py) and real execution + scoring. The … | — | d3bd71c643 代码有未提交改动 | proxy | 已结束 回填 | 16 | 56.1 | — |
| 09-30 22:25 | 20260930-222549-smoke-spark | T1:val | [回填] DGX Spark: the in-run agent is opencode + qwen3.8-max over Token Plan (no proxy in between). | — | 3d719d498a 代码有未提交改动 | Agent 自选 | 已结束 回填 | — | — | — |
| 09-30 22:25 | 20260930-222549-smoke-probe2 | T1:val | [回填] 配置 smoke-probe2（启动时没有 purpose 字段） | — | 3d719d498a 代码有未提交改动 | Agent 自选 | 已结束 回填 | — | — | — |
| 09-30 22:03 | 20260930-220330-g4-claude-smoke | - | [回填] 配置 g4-claude-smoke（启动时没有 purpose 字段） | — | 3d719d498a 代码有未提交改动 | Agent 自选 | 已结束 回填 | — | — | — |
| 09-30 22:02 | 20260930-220226-smoke-spark | T1:val | [回填] DGX Spark: the in-run agent is opencode + qwen3.8-max over Token Plan (no proxy in between). | — | 3d719d498a 代码有未提交改动 | Agent 自选 | 已结束 回填 | — | — | — |
| 09-30 22:02 | 20260930-220212-g4-discovery | - | [回填] 配置 g4-discovery（启动时没有 purpose 字段） | — | 3d719d498a 代码有未提交改动 | Agent 自选 | 已结束 回填 | — | — | — |
| 09-30 22:01 | 20260930-220131-smoke-probe2 | T1:val | [回填] 配置 smoke-probe2（启动时没有 purpose 字段） | — | 3d719d498a 代码有未提交改动 | Agent 自选 | 已结束 回填 | — | — | — |
| 09-30 21:58 | 20260930-215825-smoke | - | [回填] 配置 smoke（启动时没有 purpose 字段） | — | 1e387bcb4e 代码有未提交改动 | Agent 自选 | 已结束 回填 | — | — | — |
| 09-30 21:54 | 20260930-215429-smoke | - | [回填] 配置 smoke（启动时没有 purpose 字段） | — | 1e387bcb4e 代码有未提交改动 | Agent 自选 | 中途崩溃 回填 | — | — | — |
| 09-30 16:14 | 20260930-161443-smoke | - | [回填] 配置 smoke（启动时没有 purpose 字段） | — | ba623ce082 代码有未提交改动 | Agent 自选 | 已结束 回填 | — | — | — |
| 09-30 16:04 | 20260930-160402-smoke | - | [回填] 配置 smoke（启动时没有 purpose 字段） | — | ba623ce082 代码有未提交改动 | Agent 自选 | 已结束 回填 | — | — | — |
| 09-30 15:57 | 20260930-155722-smoke-sandbox | - | [回填] 配置 smoke-sandbox（启动时没有 purpose 字段） | — | ba623ce082 代码有未提交改动 | Agent 自选 | 已结束 回填 | — | — | — |