Virtual Embryo Challenge更新于 10-03 18:47(北京时间) / 每 5 分钟更新

运行档案 / T1:val / 09-30 23:32

假模型流程测试

先看终选决定,再沿节点查看方法、代码改动和对话证据。

已选出最终候选

以实际终选程序为结果;搜索中曾达到的最高分与最终交付分开记录。

与其他运行比较
终选程序?按该运行锁定的规则最终选出的程序;可能是候选节点,也可能由护栏回退到基线。
n2
本运行目标 56.06(种子 0 单次)
节点?搜索树里的每个候选程序。
24
已打分 16
官网分?官网 P2 返回的真实分数。
—
还没有提交或还没有分数
大模型调用次数?各角色(调研员、工程师、分析员、审查员)调用大模型的次数。
62
分析员 18、工程师 21、调研员 21、审查员 2

实际结果与评分依据

搜索目标、护栏和诊断分开阅读。不同真值分片或 seed 的同名尺子保留各自记录。

尺子用途分数评分上下文
X1终检诊断46.8全部真值 / 1 个 seed单次
proxy节点单次评分56.0真值范围未记录 / 1 个 seed单次

来历?终选程序从种子程序一步步改过来的路径,每一步都写了改了什么、分数变了多少。

括号里的分差只表示变化方向,不代表统计显著性。

n2 种子 终选程序
seed heart_jcf_peri
搜索目标分 55.97 · proxy 55.97 · 3 次复测均分 56.06
审查意见?审查员(Reviewer)检查程序是否越界读取、写死目标或钻评分器漏洞后的意见。 通过 seed (human-written, locked)

搜索树?每个点是一个节点,连线从父节点指向子节点;颜色表示结果。

蓝色粗线是来历路径;鼠标停在点上看节点,点一下打开节点页。

n1 种子,已打分,49.771n2 种子,已打分,55.972n3 种子,已打分,49.773n4 改进,没有改动4n5 改进,已打分,55.565n6 改进,格式不合格6n7 修复,已打分,56.027n8 改进,已打分,55.708n9 改进,已打分,54.979n10 改进,程序报错10n11 改进,已打分,55.7611n12 改进,没有改动12n13 改进,已打分,55.1913n14 改进,格式不合格14n15 改进,已打分,55.2815n16 修复,已打分,55.9716n17 改进,已打分,55.2417n18 改进,程序报错18n19 修复,已打分,55.6019n20 改进,没有改动20n21 改进,已打分,55.4421n22 改进,格式不合格22n23 改进,已打分,55.7423n24 改进,已打分,55.8724终选
已打分?程序正常跑完并拿到分数。程序报错?候选程序运行时出错。格式不合格?输出文件不符合提交格式(基因、细胞数、坐标等)。没有改动?这次会话没有对代码做任何修改。
搜索分数的变化?横轴是从运行开始算起的分钟数,纵轴是到那时为止最好的搜索目标分。
5051525354555600.511.522.53从开始算起的分钟数20260930-233235-search-t1-fake20260930-233235-search-t1-fake:1 分钟 49.7720260930-233235-search-t1-fake:2 分钟 55.9720260930-233235-search-t1-fake:3 分钟 56.02
全部节点与对话(24)
节点父节点操作?种子:人写的起点;改进:在父节点上改;草稿:从头写;修复:修父节点的报错。状态搜索目标分?搜索用来比较节点的分数(各把尺子按权重合成,种子 0 单次)。比父节点?这个节点的分数减去它父节点的分数;正数是变好。proxy?替代题:用手头已知阶段造的本地考题,T1 是用 E8.5 预测 E9.5。3 次复测?换 3 个随机种子各跑一次取平均 ± 标准差,比单次分更稳。审查用时?从运行开始到结束(或到现在)的挂钟时间。方法说明?节点程序自带的 METHOD.md:这个程序做了什么、为什么。
n1—种子已打分49.8—49.8—通过1 分seed copy_last
n2—种子已打分56.0—56.056.1通过1 分seed heart_jcf_peri
n3—种子已打分49.8—49.8—通过1 分seed pseudobulk_shift
n4n2改进没有改动————未审查不到 1 分fake-plan-4
n5n1改进已打分55.6+5.855.6—未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.3 (fake Engineer, node 5)
n6n2改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x1.8, edge x0.2 (fake Engineer, node 6)
n7n6修复已打分56.0—56.055.6通过不到 1 分heart_jcf_peri reweighting, heart x1.6, edge x0.1 (fake Engineer, node 7)
n8n2改进已打分55.7-0.355.7—未审查不到 1 分heart_jcf_peri reweighting, heart x1.4, edge x0.35 (fake Engineer, node 8)
n9n7改进已打分55.0-1.055.0—未审查2 分heart_jcf_peri reweighting, heart x1.2, edge x0.25 (fake Engineer, node 9)
n10n8改进程序报错————未审查不到 1 分heart_jcf_peri reweighting, heart x1.9, edge x0.15 (fake Engineer, node 10)
n11n2改进已打分55.8-0.255.8—未审查1 分heart_jcf_peri reweighting, heart x1.7, edge x0.4 (fake Engineer, node 11)
n12n11改进没有改动————未审查不到 1 分fake-plan-12
n13n7改进已打分55.2-0.855.2—未审查不到 1 分heart_jcf_peri reweighting, heart x1.3, edge x0.2 (fake Engineer, node 13)
n14n11改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.1 (fake Engineer, node 14)
n15n2改进已打分55.3-0.755.3—未审查2 分heart_jcf_peri reweighting, heart x1.8, edge x0.35 (fake Engineer, node 15)
n16n14修复已打分56.0—56.056.1通过1 分heart_jcf_peri reweighting, heart x1.6, edge x0.25 (fake Engineer, node 16)
n17n7改进已打分55.2-0.855.2—未审查不到 1 分heart_jcf_peri reweighting, heart x1.4, edge x0.15 (fake Engineer, node 17)
n18n16改进程序报错————未审查不到 1 分heart_jcf_peri reweighting, heart x1.2, edge x0.4 (fake Engineer, node 18)
n19n18修复已打分55.6—55.6—未审查不到 1 分heart_jcf_peri reweighting, heart x1.9, edge x0.3 (fake Engineer, node 19)
n20n7改进没有改动————未审查不到 1 分fake-plan-20
n21n7改进已打分55.4-0.655.4—未审查1 分heart_jcf_peri reweighting, heart x1.5, edge x0.1 (fake Engineer, node 21)
n22n16改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x1.3, edge x0.35 (fake Engineer, node 22)
n23n2改进已打分55.7-0.255.7—未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.25 (fake Engineer, node 23)
n24n16改进已打分55.9-0.155.9—未审查1 分heart_jcf_peri reweighting, heart x1.8, edge x0.15 (fake Engineer, node 24)
资源消耗与失败情况

没有改动 3 格式不合格 3 程序报错 2

角色?调研员写计划、工程师改代码、分析员解读分数、审查员检查作弊。大模型调用次数失败总用时输入 token 数?输入 / 输出(含思考)的 token 数,来自接口返回的用量。输出 token
分析员180不到 1 分37890
工程师2103 分1,041251
调研员210不到 1 分35784
审查员20不到 1 分246
运行配置与来源
运行?一次完整的自动搜索或 Agent 会话,有自己的锁定配置和证据包。20260930-233235-search-t1-fake
09-30 23:32 · 自动搜索 · T1:val · 假模型流程测试
题目?比赛的哪道题、哪个阶段,例如 T1:val 是第 1 题的验证阶段。T1:val
方式?自动搜索:ERA 式搜索树,多个节点不断改进程序;单 Agent:一个 Agent 会话从头做到尾。自动搜索 测试
搜索目标?这次运行用哪几把尺子、按什么权重合成分数来比较节点;目标不同的运行,最佳分不能直接比。proxy;终检 X1
状态已结束
开始 / 结束09-30 23:32 / 09-30 23:47
用时15 分 / 预算 24 分
所在副本?运行目录所在的代码副本(Spark 上 ~/vec 下的哪个目录)。2026_virtual_embryo
目的?这次运行为了回答什么问题,写在配置文件里。[回填] TEST ONLY (G6 acceptance 2/3): the search loop with the fake LLM backend (agent/search/fake_llm.py) and real execution + scoring. The lock marks the run as not submittable. Run on the DGX Spark (T1 scoring needs ~24 GB). 15 minutes of search (cut-off = wall clock - final reserve), then the final selection in the reserve.

出处?这次运行用的代码、配置、数据和模型的指纹,靠它们可以原样找回并复现。

代码版本?运行锁定时代码仓库的 git 提交号;带 +dirty 表示当时有未提交的改动。d3bd71c64308aeefb5d059545a832d2babe8a591 代码有未提交改动
版本标签?可提交运行在锁定的提交上打的 git 标签 run/<运行编号>,以后能原样找回代码。—
配置文件agent/configs/search_t1_fake.yaml
配置指纹 3de9219fa149f2aa
锁定指纹?启动时把配置、代码、提示词等全部锁定后算出的总指纹。75d744cbe7eea44d 锁定格式 v5
运行专用代码副本?启动时为这次运行单独检出的一份只读代码;运行全程只读它,不受主副本更新影响。没有(这次运行早于运行专用代码副本功能,读的是启动时的代码副本)
大模型?每个角色用的大模型;括号里是接口实际报告的模型名。分析员:fake
工程师:fake
调研员:fake
审查员:fake
运行目录/home/spark-longxinyang/vec/2026_virtual_embryo/agent/runs/20260930-233235-search-t1-fake 主机 spark-ad3f
提交账本?notes/changelogs/submissions.tsv:每次上传官网的记录和返回的官网分。这次运行没有提交过官网
迭代报告?运行结束后自动生成的中文复盘报告(notes/reports/runs)。还没有迭代报告