Virtual Embryo Challenge更新于 10-03 18:47(北京时间) / 每 5 分钟更新

运行档案 / T1:val / 10-01 05:54

假模型流程测试

先看终选决定,再沿节点查看方法、代码改动和对话证据。

已选出最终候选

以实际终选程序为结果;搜索中曾达到的最高分与最终交付分开记录。

与其他运行比较
终选程序?按该运行锁定的规则最终选出的程序;可能是候选节点,也可能由护栏回退到基线。
n2
本运行目标 56.06(种子 0 单次)
节点?搜索树里的每个候选程序。
103
已打分 69
官网分?官网 P2 返回的真实分数。
—
还没有提交或还没有分数
大模型调用次数?各角色(调研员、工程师、分析员、审查员)调用大模型的次数。
291
分析员 89、工程师 100、调研员 100、审查员 2

实际结果与评分依据

搜索目标、护栏和诊断分开阅读。不同真值分片或 seed 的同名尺子保留各自记录。

尺子用途分数评分上下文
X1终检诊断46.8全部真值 / 1 个 seed单次
proxy节点单次评分56.0真值范围未记录 / 1 个 seed单次

来历?终选程序从种子程序一步步改过来的路径,每一步都写了改了什么、分数变了多少。

括号里的分差只表示变化方向,不代表统计显著性。

n2 种子 终选程序
seed heart_jcf_peri
搜索目标分 55.97 · proxy 55.97 · 3 次复测均分 56.06
审查意见?审查员(Reviewer)检查程序是否越界读取、写死目标或钻评分器漏洞后的意见。 通过 seed (human-written, locked)

搜索树?每个点是一个节点,连线从父节点指向子节点;颜色表示结果。

蓝色粗线是来历路径;鼠标停在点上看节点,点一下打开节点页。

n1 种子,已打分,49.771n2 种子,已打分,55.972n3 种子,已打分,49.773n4 改进,没有改动n5 改进,已打分,55.56n6 改进,格式不合格n7 修复,已打分,56.02n8 改进,已打分,55.70n9 改进,已打分,54.97n10 改进,程序报错n11 改进,已打分,55.76n12 改进,没有改动n13 改进,已打分,55.19n14 改进,格式不合格n15 改进,已打分,55.28n16 修复,已打分,55.97n17 改进,已打分,55.24n18 改进,程序报错n19 修复,已打分,55.60n20 改进,没有改动n21 改进,已打分,55.44n22 改进,格式不合格n23 改进,已打分,55.74n24 改进,已打分,55.87n25 改进,已打分,55.25n26 改进,程序报错n27 改进,已打分,55.56n28 改进,没有改动n29 草稿,已打分,55.34n30 改进,格式不合格n31 改进,已打分,55.10n32 改进,已打分,55.27n33 改进,已打分,55.23n34 改进,程序报错n35 改进,已打分,55.55n36 修复,已打分,55.02n37 改进,已打分,55.85n38 改进,格式不合格n39 草稿,已打分,55.45n40 改进,已打分,54.84n41 改进,已打分,55.33n42 改进,程序报错n43 改进,已打分,55.03n44 草稿,没有改动n45 改进,已打分,55.05n46 改进,格式不合格n47 修复,已打分,56.16n48 改进,已打分,55.67n49 改进,已打分,55.35n50 修复,已打分,55.27n51 改进,已打分,55.68n52 修复,已打分,55.12n53 改进,已打分,54.67n54 改进,格式不合格n55 改进,已打分,55.05n56 草稿,已打分,55.64n57 改进,已打分,55.66n58 改进,程序报错n59 改进,已打分,55.22n60 草稿,没有改动n61 改进,已打分,55.48n62 改进,格式不合格n63 改进,已打分,55.28n64 改进,已打分,55.51n65 改进,已打分,55.64n66 改进,程序报错n67 改进,已打分,55.17n68 改进,没有改动n69 改进,已打分,55.21n70 改进,格式不合格n71 改进,已打分,55.70n72 改进,已打分,54.97n73 修复,已打分,55.80n74 修复,已打分,55.76n75 修复,已打分,55.29n76 改进,没有改动n77 改进,已打分,55.46n78 改进,格式不合格n79 草稿,已打分,55.97n80 改进,已打分,55.24n81 改进,已打分,55.47n82 改进,程序报错n83 改进,已打分,55.21n84 改进,没有改动n85 改进,已打分,55.07n86 改进,格式不合格n87 改进,已打分,55.87n88 改进,已打分,55.25n89 修复,已打分,55.19n90 改进,程序报错n91 改进,已打分,55.07n92 改进,没有改动n93 改进,已打分,55.73n94 改进,格式不合格n95 改进,已打分,55.27n96 改进,已打分,55.23n97 改进,已打分,55.42n98 改进,程序报错n99 改进,已打分,55.02n100 改进,没有改动n101 草稿,已打分,55.90n102 改进,格式不合格n103 改进,已打分,54.84终选
已打分?程序正常跑完并拿到分数。程序报错?候选程序运行时出错。格式不合格?输出文件不符合提交格式(基因、细胞数、坐标等)。没有改动?这次会话没有对代码做任何修改。
搜索分数的变化?横轴是从运行开始算起的分钟数,纵轴是到那时为止最好的搜索目标分。
5555.55656.55700.511.522.53从开始算起的分钟数20261001-055422-search-t1-fake20261001-055422-search-t1-fake:0 分钟 55.9720261001-055422-search-t1-fake:0 分钟 56.0220261001-055422-search-t1-fake:3 分钟 56.16
全部节点与对话(103)
节点父节点操作?种子:人写的起点;改进:在父节点上改;草稿:从头写;修复:修父节点的报错。状态搜索目标分?搜索用来比较节点的分数(各把尺子按权重合成,种子 0 单次)。比父节点?这个节点的分数减去它父节点的分数;正数是变好。proxy?替代题:用手头已知阶段造的本地考题,T1 是用 E8.5 预测 E9.5。3 次复测?换 3 个随机种子各跑一次取平均 ± 标准差,比单次分更稳。审查用时?从运行开始到结束(或到现在)的挂钟时间。方法说明?节点程序自带的 METHOD.md:这个程序做了什么、为什么。
n1—种子已打分49.8—49.8—通过不到 1 分seed copy_last
n2—种子已打分56.0—56.056.1通过不到 1 分seed heart_jcf_peri
n3—种子已打分49.8—49.8—通过不到 1 分seed pseudobulk_shift
n4n2改进没有改动————未审查不到 1 分fake-plan-4
n5n1改进已打分55.6+5.855.6—未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.3 (fake Engineer, node 5)
n6n2改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x1.8, edge x0.2 (fake Engineer, node 6)
n7n6修复已打分56.0—56.055.6通过不到 1 分heart_jcf_peri reweighting, heart x1.6, edge x0.1 (fake Engineer, node 7)
n8n2改进已打分55.7-0.355.7—未审查不到 1 分heart_jcf_peri reweighting, heart x1.4, edge x0.35 (fake Engineer, node 8)
n9n7改进已打分55.0-1.055.0—未审查不到 1 分heart_jcf_peri reweighting, heart x1.2, edge x0.25 (fake Engineer, node 9)
n10n8改进程序报错————未审查不到 1 分heart_jcf_peri reweighting, heart x1.9, edge x0.15 (fake Engineer, node 10)
n11n2改进已打分55.8-0.255.8—未审查不到 1 分heart_jcf_peri reweighting, heart x1.7, edge x0.4 (fake Engineer, node 11)
n12n11改进没有改动————未审查不到 1 分fake-plan-12
n13n7改进已打分55.2-0.855.2—未审查不到 1 分heart_jcf_peri reweighting, heart x1.3, edge x0.2 (fake Engineer, node 13)
n14n11改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.1 (fake Engineer, node 14)
n15n2改进已打分55.3-0.755.3—未审查不到 1 分heart_jcf_peri reweighting, heart x1.8, edge x0.35 (fake Engineer, node 15)
n16n14修复已打分56.0—56.0—未审查不到 1 分heart_jcf_peri reweighting, heart x1.6, edge x0.25 (fake Engineer, node 16)
n17n7改进已打分55.2-0.855.2—未审查不到 1 分heart_jcf_peri reweighting, heart x1.4, edge x0.15 (fake Engineer, node 17)
n18n16改进程序报错————未审查不到 1 分heart_jcf_peri reweighting, heart x1.2, edge x0.4 (fake Engineer, node 18)
n19n18修复已打分55.6—55.6—未审查不到 1 分heart_jcf_peri reweighting, heart x1.9, edge x0.3 (fake Engineer, node 19)
n20n7改进没有改动————未审查不到 1 分fake-plan-20
n21n7改进已打分55.4-0.655.4—未审查不到 1 分heart_jcf_peri reweighting, heart x1.5, edge x0.1 (fake Engineer, node 21)
n22n16改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x1.3, edge x0.35 (fake Engineer, node 22)
n23n2改进已打分55.7-0.255.7—未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.25 (fake Engineer, node 23)
n24n7改进已打分55.9-0.155.9—未审查不到 1 分heart_jcf_peri reweighting, heart x1.8, edge x0.15 (fake Engineer, node 24)
n25n16改进已打分55.3-0.755.3—未审查不到 1 分heart_jcf_peri reweighting, heart x1.6, edge x0.4 (fake Engineer, node 25)
n26n23改进程序报错————未审查不到 1 分heart_jcf_peri reweighting, heart x1.4, edge x0.3 (fake Engineer, node 26)
n27n24改进已打分55.6-0.355.6—未审查不到 1 分heart_jcf_peri reweighting, heart x1.2, edge x0.2 (fake Engineer, node 27)
n28n7改进没有改动————未审查不到 1 分fake-plan-28
n29—草稿已打分55.3—55.3—未审查不到 1 分heart_jcf_peri reweighting, heart x1.7, edge x0.35 (fake Engineer, node 29)
n30n7改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x1.5, edge x0.25 (fake Engineer, node 30)
n31n24改进已打分55.1-0.855.1—未审查不到 1 分heart_jcf_peri reweighting, heart x1.3, edge x0.15 (fake Engineer, node 31)
n32n16改进已打分55.3-0.755.3—未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.4 (fake Engineer, node 32)
n33n7改进已打分55.2-0.855.2—未审查不到 1 分heart_jcf_peri reweighting, heart x1.8, edge x0.3 (fake Engineer, node 33)
n34n16改进程序报错————未审查不到 1 分heart_jcf_peri reweighting, heart x1.6, edge x0.2 (fake Engineer, node 34)
n35n16改进已打分55.5-0.455.5—未审查不到 1 分heart_jcf_peri reweighting, heart x1.4, edge x0.1 (fake Engineer, node 35)
n36n34修复已打分55.0—55.0—未审查不到 1 分heart_jcf_peri reweighting, heart x1.2, edge x0.35 (fake Engineer, node 36)
n37n7改进已打分55.9-0.255.9—未审查不到 1 分heart_jcf_peri reweighting, heart x1.9, edge x0.25 (fake Engineer, node 37)
n38n37改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x1.7, edge x0.15 (fake Engineer, node 38)
n39—草稿已打分55.4—55.4—未审查不到 1 分heart_jcf_peri reweighting, heart x1.5, edge x0.4 (fake Engineer, node 39)
n40n7改进已打分54.8-1.254.8—未审查不到 1 分heart_jcf_peri reweighting, heart x1.3, edge x0.3 (fake Engineer, node 40)
n41n7改进已打分55.3-0.755.3—未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.2 (fake Engineer, node 41)
n42n24改进程序报错————未审查不到 1 分heart_jcf_peri reweighting, heart x1.8, edge x0.1 (fake Engineer, node 42)
n43n37改进已打分55.0-0.855.0—未审查不到 1 分heart_jcf_peri reweighting, heart x1.6, edge x0.35 (fake Engineer, node 43)
n44—草稿没有改动————未审查不到 1 分fake-plan-44
n45n7改进已打分55.0-1.055.0—未审查不到 1 分heart_jcf_peri reweighting, heart x1.2, edge x0.15 (fake Engineer, node 45)
n46n16改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x1.9, edge x0.4 (fake Engineer, node 46)
n47n46修复已打分56.2—56.255.6通过不到 1 分heart_jcf_peri reweighting, heart x1.7, edge x0.3 (fake Engineer, node 47)
n48n7改进已打分55.7-0.355.7—未审查不到 1 分heart_jcf_peri reweighting, heart x1.5, edge x0.2 (fake Engineer, node 48)
n49n47改进已打分55.4-0.855.4—未审查不到 1 分heart_jcf_peri reweighting, heart x1.3, edge x0.1 (fake Engineer, node 49)
n50n46修复已打分55.3—55.3—未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.35 (fake Engineer, node 50)
n51n47改进已打分55.7-0.555.7—未审查不到 1 分heart_jcf_peri reweighting, heart x1.8, edge x0.25 (fake Engineer, node 51)
n52n42修复已打分55.1—55.1—未审查不到 1 分heart_jcf_peri reweighting, heart x1.6, edge x0.15 (fake Engineer, node 52)
n53n47改进已打分54.7-1.554.7—未审查不到 1 分heart_jcf_peri reweighting, heart x1.4, edge x0.4 (fake Engineer, node 53)
n54n7改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x1.2, edge x0.3 (fake Engineer, node 54)
n55n7改进已打分55.1-1.055.1—未审查不到 1 分heart_jcf_peri reweighting, heart x1.9, edge x0.2 (fake Engineer, node 55)
n56—草稿已打分55.6—55.6—未审查不到 1 分heart_jcf_peri reweighting, heart x1.7, edge x0.1 (fake Engineer, node 56)
n57n47改进已打分55.7-0.555.7—未审查不到 1 分heart_jcf_peri reweighting, heart x1.5, edge x0.35 (fake Engineer, node 57)
n58n7改进程序报错————未审查不到 1 分heart_jcf_peri reweighting, heart x1.3, edge x0.25 (fake Engineer, node 58)
n59n7改进已打分55.2-0.855.2—未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.15 (fake Engineer, node 59)
n60—草稿没有改动————未审查不到 1 分fake-plan-60
n61n47改进已打分55.5-0.755.5—未审查不到 1 分heart_jcf_peri reweighting, heart x1.6, edge x0.3 (fake Engineer, node 61)
n62n7改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x1.4, edge x0.2 (fake Engineer, node 62)
n63n7改进已打分55.3-0.755.3—未审查不到 1 分heart_jcf_peri reweighting, heart x1.2, edge x0.1 (fake Engineer, node 63)
n64n47改进已打分55.5-0.655.5—未审查不到 1 分heart_jcf_peri reweighting, heart x1.9, edge x0.35 (fake Engineer, node 64)
n65n47改进已打分55.6-0.555.6—未审查不到 1 分heart_jcf_peri reweighting, heart x1.7, edge x0.25 (fake Engineer, node 65)
n66n7改进程序报错————未审查不到 1 分heart_jcf_peri reweighting, heart x1.5, edge x0.15 (fake Engineer, node 66)
n67n7改进已打分55.2-0.855.2—未审查不到 1 分heart_jcf_peri reweighting, heart x1.3, edge x0.4 (fake Engineer, node 67)
n68n47改进没有改动————未审查不到 1 分fake-plan-68
n69n47改进已打分55.2-0.955.2—未审查不到 1 分heart_jcf_peri reweighting, heart x1.8, edge x0.2 (fake Engineer, node 69)
n70n7改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x1.6, edge x0.1 (fake Engineer, node 70)
n71n7改进已打分55.7-0.355.7—未审查不到 1 分heart_jcf_peri reweighting, heart x1.4, edge x0.35 (fake Engineer, node 71)
n72n47改进已打分55.0-1.255.0—未审查不到 1 分heart_jcf_peri reweighting, heart x1.2, edge x0.25 (fake Engineer, node 72)
n73n70修复已打分55.8—55.8—未审查不到 1 分heart_jcf_peri reweighting, heart x1.9, edge x0.15 (fake Engineer, node 73)
n74n70修复已打分55.8—55.8—未审查不到 1 分heart_jcf_peri reweighting, heart x1.7, edge x0.4 (fake Engineer, node 74)
n75n66修复已打分55.3—55.3—未审查不到 1 分heart_jcf_peri reweighting, heart x1.5, edge x0.3 (fake Engineer, node 75)
n76n73改进没有改动————未审查不到 1 分fake-plan-76
n77n47改进已打分55.5-0.755.5—未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.1 (fake Engineer, node 77)
n78n74改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x1.8, edge x0.35 (fake Engineer, node 78)
n79—草稿已打分56.0—56.0—未审查不到 1 分heart_jcf_peri reweighting, heart x1.6, edge x0.25 (fake Engineer, node 79)
n80n47改进已打分55.2-0.955.2—未审查不到 1 分heart_jcf_peri reweighting, heart x1.4, edge x0.15 (fake Engineer, node 80)
n81n79改进已打分55.5-0.555.5—未审查不到 1 分heart_jcf_peri reweighting, heart x1.2, edge x0.4 (fake Engineer, node 81)
n82n47改进程序报错————未审查不到 1 分heart_jcf_peri reweighting, heart x1.9, edge x0.3 (fake Engineer, node 82)
n83n47改进已打分55.2-0.955.2—未审查不到 1 分heart_jcf_peri reweighting, heart x1.7, edge x0.2 (fake Engineer, node 83)
n84n47改进没有改动————未审查不到 1 分fake-plan-84
n85n79改进已打分55.1-0.955.1—未审查不到 1 分heart_jcf_peri reweighting, heart x1.3, edge x0.35 (fake Engineer, node 85)
n86n47改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.25 (fake Engineer, node 86)
n87n7改进已打分55.9-0.155.9—未审查不到 1 分heart_jcf_peri reweighting, heart x1.8, edge x0.15 (fake Engineer, node 87)
n88n79改进已打分55.3-0.755.3—未审查不到 1 分heart_jcf_peri reweighting, heart x1.6, edge x0.4 (fake Engineer, node 88)
n89n86修复已打分55.2—55.2—未审查不到 1 分heart_jcf_peri reweighting, heart x1.4, edge x0.3 (fake Engineer, node 89)
n90n87改进程序报错————未审查不到 1 分heart_jcf_peri reweighting, heart x1.2, edge x0.2 (fake Engineer, node 90)
n91n47改进已打分55.1-1.155.1—未审查不到 1 分heart_jcf_peri reweighting, heart x1.9, edge x0.1 (fake Engineer, node 91)
n92n87改进没有改动————未审查不到 1 分fake-plan-92
n93n79改进已打分55.7-0.255.7—未审查不到 1 分heart_jcf_peri reweighting, heart x1.5, edge x0.25 (fake Engineer, node 93)
n94n47改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x1.3, edge x0.15 (fake Engineer, node 94)
n95n47改进已打分55.3-0.955.3—未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.4 (fake Engineer, node 95)
n96n79改进已打分55.2-0.755.2—未审查不到 1 分heart_jcf_peri reweighting, heart x1.8, edge x0.3 (fake Engineer, node 96)
n97n47改进已打分55.4-0.755.4—未审查不到 1 分heart_jcf_peri reweighting, heart x1.6, edge x0.2 (fake Engineer, node 97)
n98n47改进程序报错————未审查不到 1 分heart_jcf_peri reweighting, heart x1.4, edge x0.1 (fake Engineer, node 98)
n99n79改进已打分55.0-1.055.0—未审查不到 1 分heart_jcf_peri reweighting, heart x1.2, edge x0.35 (fake Engineer, node 99)
n100n47改进没有改动————未审查不到 1 分fake-plan-100
n101—草稿已打分55.9—55.9—未审查不到 1 分heart_jcf_peri reweighting, heart x1.7, edge x0.15 (fake Engineer, node 101)
n102n47改进格式不合格————未审查不到 1 分heart_jcf_peri reweighting, heart x1.5, edge x0.4 (fake Engineer, node 102)
n103n101改进已打分54.8-1.154.8—未审查不到 1 分heart_jcf_peri reweighting, heart x1.3, edge x0.3 (fake Engineer, node 103)
资源消耗与失败情况

格式不合格 13 没有改动 11 程序报错 10

角色?调研员写计划、工程师改代码、分析员解读分数、审查员检查作弊。大模型调用次数失败总用时输入 token 数?输入 / 输出(含思考)的 token 数,来自接口返回的用量。输出 token
分析员8901 分1,869445
工程师10003 分5,0601,224
调研员10001 分1,700400
审查员20不到 1 分246
运行配置与来源
运行?一次完整的自动搜索或 Agent 会话,有自己的锁定配置和证据包。20261001-055422-search-t1-fake
10-01 05:54 · 自动搜索 · T1:val · 假模型流程测试
题目?比赛的哪道题、哪个阶段,例如 T1:val 是第 1 题的验证阶段。T1:val
方式?自动搜索:ERA 式搜索树,多个节点不断改进程序;单 Agent:一个 Agent 会话从头做到尾。自动搜索 测试
搜索目标?这次运行用哪几把尺子、按什么权重合成分数来比较节点;目标不同的运行,最佳分不能直接比。proxy;终检 X1
状态已结束
开始 / 结束10-01 05:54 / 10-01 06:02
用时7 分 / 预算 24 分
所在副本?运行目录所在的代码副本(Spark 上 ~/vec 下的哪个目录)。2026_virtual_embryo
目的?这次运行为了回答什么问题,写在配置文件里。[回填] TEST ONLY (G6 acceptance 2/3): the search loop with the fake LLM backend (agent/search/fake_llm.py) and real execution + scoring. The lock marks the run as not submittable. Run on the DGX Spark (T1 scoring needs ~24 GB). 15 minutes of search (cut-off = wall clock - final reserve), then the final selection in the reserve.

出处?这次运行用的代码、配置、数据和模型的指纹,靠它们可以原样找回并复现。

代码版本?运行锁定时代码仓库的 git 提交号;带 +dirty 表示当时有未提交的改动。8195e3299fbe487af1cdf975995cb539590c62b2 代码有未提交改动
版本标签?可提交运行在锁定的提交上打的 git 标签 run/<运行编号>,以后能原样找回代码。—
配置文件agent/configs/search_t1_fake.yaml
配置指纹 7a98f7aa89604755
锁定指纹?启动时把配置、代码、提示词等全部锁定后算出的总指纹。a7ffd8986dcf1727 锁定格式 v5
运行专用代码副本?启动时为这次运行单独检出的一份只读代码;运行全程只读它,不受主副本更新影响。没有(这次运行早于运行专用代码副本功能,读的是启动时的代码副本)
大模型?每个角色用的大模型;括号里是接口实际报告的模型名。分析员:fake
工程师:fake
调研员:fake
审查员:fake
运行目录/home/spark-longxinyang/vec/2026_virtual_embryo/agent/runs/20261001-055422-search-t1-fake 主机 spark-ad3f
提交账本?notes/changelogs/submissions.tsv:每次上传官网的记录和返回的官网分。这次运行没有提交过官网
迭代报告?运行结束后自动生成的中文复盘报告(notes/reports/runs)。还没有迭代报告