Virtual Embryo Challenge更新于 10-03 18:47(北京时间) / 每 5 分钟更新

运行档案 / T1:val / 10-01 14:00

G23 验收

先看终选决定,再沿节点查看方法、代码改动和对话证据。

搜索尚未完成终选

下方分数代表当前搜索进度,不能作为最终提交结果。

与其他运行比较
终选程序?按该运行锁定的规则最终选出的程序;可能是候选节点,也可能由护栏回退到基线。
n2
本运行目标 53.10(种子 0 单次),还在搜索,暂时最好
节点?搜索树里的每个候选程序。
72
已打分 44
官网分?官网 P2 返回的真实分数。
—
还没有提交或还没有分数
大模型调用次数?各角色(调研员、工程师、分析员、审查员)调用大模型的次数。
47
分析员 14、工程师 15、调研员 18

实际结果与评分依据

搜索目标、护栏和诊断分开阅读。不同真值分片或 seed 的同名尺子保留各自记录。

分数均值± 标准差次数
搜索目标分53.10—1
proxy56.23—1
proxy256.23—1
X346.85—1

来历?终选程序从种子程序一步步改过来的路径,每一步都写了改了什么、分数变了多少。

括号里的分差只表示变化方向,不代表统计显著性。

n2 种子 当前最好导入自 20261001-134009-search-t1-g23-fake#2
seed heart_jcf_peri
搜索目标分 53.10 · proxy 56.23 · proxy2 56.23 · X3 46.85 · 3 次复测均分 53.26
审查意见?审查员(Reviewer)检查程序是否越界读取、写死目标或钻评分器漏洞后的意见。 通过 seed (human-written, locked)

搜索树?每个点是一个节点,连线从父节点指向子节点;颜色表示结果。

蓝色粗线是来历路径;鼠标停在点上看节点,点一下打开节点页。

n1 种子,已打分,50.031n2 种子,已打分,53.102n3 种子,已打分,46.873n4 改进,没有改动n5 改进,已打分,52.68n6 改进,格式不合格n7 改进,已打分,53.17n8 改进,被中断n9 改进,被中断n10 改进,被中断n11 改进,已打分,52.92n12 改进,没有改动n13 改进,已打分,52.67n14 改进,格式不合格n15 改进,已打分,52.68n16 修复,已打分,53.10n17 改进,已打分,52.67n18 改进,程序报错n19 修复,已打分,52.91n20 改进,没有改动n21 改进,已打分,52.78n22 改进,格式不合格n23 改进,已打分,52.96n24 改进,已打分,53.04n25 改进,已打分,52.63n26 改进,程序报错n27 改进,已打分,52.88n28 改进,没有改动n29 草稿,已打分,52.70n30 改进,格式不合格n31 改进,已打分,52.57n32 改进,已打分,52.69n33 改进,已打分,52.58n34 改进,程序报错n35 改进,已打分,52.90n36 修复,已打分,52.42n37 改进,已打分,53.07n38 改进,格式不合格n39 改进,已打分,52.83n40 改进,已打分,52.51n41 草稿,已打分,52.61n42 改进,程序报错n43 修复,已打分,52.67n44 改进,没有改动n45 改进,已打分,52.66n46 改进,格式不合格n47 改进,已打分,53.29n48 改进,已打分,52.92n49 改进,已打分,52.76n50 改进,程序报错n51 修复,已打分,53.00n52 改进,没有改动n53 改进,已打分,52.33n54 改进,格式不合格n55 改进,已打分,52.55n56 修复,已打分,52.94n57 改进,已打分,52.92n58 改进,程序报错n59 改进,已打分,52.60n60 修复,已打分,53.09n61 改进,已打分,52.82n62 改进,格式不合格n63 改进,已打分,52.75n64 改进,已打分,52.84n65 改进,已打分,52.94n66 改进,程序报错n67 改进,已打分,52.71n68 改进,没有改动n69 修复,已打分,52.57n70 改进,被中断n71 改进,被中断n72 修复,被中断终选
已打分?程序正常跑完并拿到分数。程序报错?候选程序运行时出错。格式不合格?输出文件不符合提交格式(基因、细胞数、坐标等)。没有改动?这次会话没有对代码做任何修改。被中断?因重启或大模型接口故障中断,不计入搜索。
搜索分数的变化?横轴是从运行开始算起的分钟数,纵轴是到那时为止最好的搜索目标分。
5252.55353.55400.20.40.60.81从开始算起的分钟数20261001-140014-search-t1-g23-fake-cont20261001-140014-search-t1-g23-fake-cont:0 分钟 53.1020261001-140014-search-t1-g23-fake-cont:0 分钟 53.1720261001-140014-search-t1-g23-fake-cont:0 分钟 53.29
全部节点与对话(72)
节点父节点操作?种子:人写的起点;改进:在父节点上改;草稿:从头写;修复:修父节点的报错。状态搜索目标分?搜索用来比较节点的分数(各把尺子按权重合成,种子 0 单次)。比父节点?这个节点的分数减去它父节点的分数;正数是变好。proxy?替代题:用手头已知阶段造的本地考题,T1 是用 E8.5 预测 E9.5。proxy2?两输入替代题:官方 E8.5 + 外部 Qiu E9.0 预测 E9.5,给需要两个时间点的方法一个公平分数。X3?用外部公开数据造的同类型题。3 次复测?换 3 个随机种子各跑一次取平均 ± 标准差,比单次分更稳。审查用时?从运行开始到结束(或到现在)的挂钟时间。方法说明?节点程序自带的 METHOD.md:这个程序做了什么、为什么。
n1—种子已打分50.0—50.050.050.049.7通过不到 1 分导入自 20261001-134009-search-t1-g23-fake#1 seed copy_last
n2—种子已打分53.1—56.256.246.853.3通过不到 1 分导入自 20261001-134009-search-t1-g23-fake#2 seed heart_jcf_peri
n3—种子已打分46.9—50.050.040.546.6通过不到 1 分导入自 20261001-134009-search-t1-g23-fake#3 seed pseudobulk_shift
n4n2改进没有改动——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#4 fake-plan-4
n5n1改进已打分52.7+2.755.655.646.852.9未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#5 heart_jcf_peri reweighting, heart x2.0, edge x0.3 (fake Engineer, node 5)
n6n3改进格式不合格——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#6 heart_jcf_peri reweighting, heart x1.8, edge x0.2 (fake Engineer, node 6)
n7n2改进已打分53.2+0.156.356.346.852.8通过不到 1 分导入自 20261001-134009-search-t1-g23-fake#7 heart_jcf_peri reweighting, heart x1.6, edge x0.1 (fake Engineer, node 7)
n8n3改进被中断——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#8 —
n9n5改进被中断——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#9 —
n10n7改进被中断——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#10 —
n11n2改进已打分52.9-0.256.056.046.853.0未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#11 heart_jcf_peri reweighting, heart x1.7, edge x0.4 (fake Engineer, node 11)
n12n5改进没有改动——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#12 fake-plan-12
n13n2改进已打分52.7-0.455.655.646.852.8未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#13 heart_jcf_peri reweighting, heart x1.3, edge x0.2 (fake Engineer, node 13)
n14n11改进格式不合格——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#14 heart_jcf_peri reweighting, heart x2.0, edge x0.1 (fake Engineer, node 14)
n15n7改进已打分52.7-0.555.655.646.852.9未审查1 分导入自 20261001-134009-search-t1-g23-fake#15 heart_jcf_peri reweighting, heart x1.8, edge x0.35 (fake Engineer, node 15)
n16n14修复已打分53.1—56.256.246.853.3通过1 分导入自 20261001-134009-search-t1-g23-fake#16 heart_jcf_peri reweighting, heart x1.6, edge x0.25 (fake Engineer, node 16)
n17n2改进已打分52.7-0.455.655.646.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#17 heart_jcf_peri reweighting, heart x1.4, edge x0.15 (fake Engineer, node 17)
n18n7改进程序报错——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#18 heart_jcf_peri reweighting, heart x1.2, edge x0.4 (fake Engineer, node 18)
n19n14修复已打分52.9—55.955.946.853.0未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#19 heart_jcf_peri reweighting, heart x1.9, edge x0.3 (fake Engineer, node 19)
n20n16改进没有改动——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#20 fake-plan-20
n21n2改进已打分52.8-0.355.755.746.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#21 heart_jcf_peri reweighting, heart x1.5, edge x0.1 (fake Engineer, node 21)
n22n7改进格式不合格——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#22 heart_jcf_peri reweighting, heart x1.3, edge x0.35 (fake Engineer, node 22)
n23n16改进已打分53.0-0.156.056.046.852.9未审查1 分导入自 20261001-134009-search-t1-g23-fake#23 heart_jcf_peri reweighting, heart x2.0, edge x0.25 (fake Engineer, node 23)
n24n19改进已打分53.0+0.156.156.146.853.1通过1 分导入自 20261001-134009-search-t1-g23-fake#24 heart_jcf_peri reweighting, heart x1.8, edge x0.15 (fake Engineer, node 24)
n25n2改进已打分52.6-0.555.555.546.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#25 heart_jcf_peri reweighting, heart x1.6, edge x0.4 (fake Engineer, node 25)
n26n23改进程序报错——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#26 heart_jcf_peri reweighting, heart x1.4, edge x0.3 (fake Engineer, node 26)
n27n24改进已打分52.9-0.255.955.946.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#27 heart_jcf_peri reweighting, heart x1.2, edge x0.2 (fake Engineer, node 27)
n28n7改进没有改动——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#28 fake-plan-28
n29—草稿已打分52.7—55.655.646.8—未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#29 heart_jcf_peri reweighting, heart x1.7, edge x0.35 (fake Engineer, node 29)
n30n2改进格式不合格——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#30 heart_jcf_peri reweighting, heart x1.5, edge x0.25 (fake Engineer, node 30)
n31n2改进已打分52.6-0.555.455.446.8—未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#31 heart_jcf_peri reweighting, heart x1.3, edge x0.15 (fake Engineer, node 31)
n32n7改进已打分52.7-0.555.655.646.8—未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#32 heart_jcf_peri reweighting, heart x2.0, edge x0.4 (fake Engineer, node 32)
n33n24改进已打分52.6-0.555.555.546.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#33 heart_jcf_peri reweighting, heart x1.8, edge x0.3 (fake Engineer, node 33)
n34n16改进程序报错——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#34 heart_jcf_peri reweighting, heart x1.6, edge x0.2 (fake Engineer, node 34)
n35n2改进已打分52.9-0.255.955.946.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#35 heart_jcf_peri reweighting, heart x1.4, edge x0.1 (fake Engineer, node 35)
n36n34修复已打分52.4—55.255.246.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#36 heart_jcf_peri reweighting, heart x1.2, edge x0.35 (fake Engineer, node 36)
n37n16改进已打分53.1-0.056.256.246.853.0通过1 分导入自 20261001-134009-search-t1-g23-fake#37 heart_jcf_peri reweighting, heart x1.9, edge x0.25 (fake Engineer, node 37)
n38n24改进格式不合格——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#38 heart_jcf_peri reweighting, heart x1.7, edge x0.15 (fake Engineer, node 38)
n39n15改进已打分52.8+0.155.855.846.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#39 heart_jcf_peri reweighting, heart x1.5, edge x0.4 (fake Engineer, node 39)
n40n24改进已打分52.5-0.555.355.346.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#40 heart_jcf_peri reweighting, heart x1.3, edge x0.3 (fake Engineer, node 40)
n41—草稿已打分52.6—55.555.546.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#41 heart_jcf_peri reweighting, heart x2.0, edge x0.2 (fake Engineer, node 41)
n42n37改进程序报错——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#42 heart_jcf_peri reweighting, heart x1.8, edge x0.1 (fake Engineer, node 42)
n43n38修复已打分52.7—55.655.646.8—未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#43 heart_jcf_peri reweighting, heart x1.6, edge x0.35 (fake Engineer, node 43)
n44n37改进没有改动——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#44 fake-plan-44
n45n16改进已打分52.7-0.455.655.646.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#45 heart_jcf_peri reweighting, heart x1.2, edge x0.15 (fake Engineer, node 45)
n46n2改进格式不合格——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#46 heart_jcf_peri reweighting, heart x1.9, edge x0.4 (fake Engineer, node 46)
n47n37改进已打分53.3+0.256.556.546.853.1通过1 分导入自 20261001-134009-search-t1-g23-fake#47 heart_jcf_peri reweighting, heart x1.7, edge x0.3 (fake Engineer, node 47)
n48n2改进已打分52.9-0.256.056.046.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#48 heart_jcf_peri reweighting, heart x1.5, edge x0.2 (fake Engineer, node 48)
n49n16改进已打分52.8-0.355.755.746.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#49 heart_jcf_peri reweighting, heart x1.3, edge x0.1 (fake Engineer, node 49)
n50n47改进程序报错——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#50 heart_jcf_peri reweighting, heart x2.0, edge x0.35 (fake Engineer, node 50)
n51n46修复已打分53.0—56.156.146.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#51 heart_jcf_peri reweighting, heart x1.8, edge x0.25 (fake Engineer, node 51)
n52n47改进没有改动——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#52 fake-plan-52
n53n37改进已打分52.3-0.755.155.146.8—未审查1 分导入自 20261001-134009-search-t1-g23-fake#53 heart_jcf_peri reweighting, heart x1.4, edge x0.4 (fake Engineer, node 53)
n54n47改进格式不合格——————未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#54 heart_jcf_peri reweighting, heart x1.2, edge x0.3 (fake Engineer, node 54)
n55n16改进已打分52.5-0.655.455.446.8—未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#55 heart_jcf_peri reweighting, heart x1.9, edge x0.2 (fake Engineer, node 55)
n56n54修复已打分52.9—56.056.046.8—未审查不到 1 分导入自 20261001-134009-search-t1-g23-fake#56 heart_jcf_peri reweighting, heart x1.7, edge x0.1 (fake Engineer, node 56)
n57n47改进已打分52.9-0.456.056.046.8—未审查1 分heart_jcf_peri reweighting, heart x1.5, edge x0.35 (fake Engineer, node 57)
n58n51改进程序报错——————未审查不到 1 分heart_jcf_peri reweighting, heart x1.3, edge x0.25 (fake Engineer, node 58)
n59n16改进已打分52.6-0.555.555.546.8—未审查不到 1 分heart_jcf_peri reweighting, heart x2.0, edge x0.15 (fake Engineer, node 59)
n60n58修复已打分53.1—56.256.246.853.1审查中1 分heart_jcf_peri reweighting, heart x1.8, edge x0.4 (fake Engineer, node 60)
n61n16改进已打分52.8-0.355.855.846.8—未审查不到 1 分heart_jcf_peri reweighting, heart x1.6, edge x0.3 (fake Engineer, node 61)
n62n24改进格式不合格——————未审查不到 1 分heart_jcf_peri reweighting, heart x1.4, edge x0.2 (fake Engineer, node 62)
n63n16改进已打分52.8-0.455.755.746.8—未审查1 分heart_jcf_peri reweighting, heart x1.2, edge x0.1 (fake Engineer, node 63)
n64n24改进已打分52.8-0.255.855.846.8—未审查不到 1 分heart_jcf_peri reweighting, heart x1.9, edge x0.35 (fake Engineer, node 64)
n65n60改进已打分52.9-0.256.056.046.8—未审查不到 1 分heart_jcf_peri reweighting, heart x1.7, edge x0.25 (fake Engineer, node 65)
n66n2改进程序报错——————未审查不到 1 分heart_jcf_peri reweighting, heart x1.5, edge x0.15 (fake Engineer, node 66)
n67n2改进已打分52.7-0.455.655.646.8—未审查1 分heart_jcf_peri reweighting, heart x1.3, edge x0.4 (fake Engineer, node 67)
n68n60改进没有改动——————未审查不到 1 分fake-plan-68
n69n66修复已打分52.6—55.455.446.8—未审查1 分heart_jcf_peri reweighting, heart x1.8, edge x0.2 (fake Engineer, node 69)
n70n16改进被中断——————未审查不到 1 分—
n71n16改进被中断——————未审查不到 1 分—
n72n62修复被中断——————未审查不到 1 分—
资源消耗与失败情况

格式不合格 8 没有改动 7 程序报错 7 被中断 6

角色?调研员写计划、工程师改代码、分析员解读分数、审查员检查作弊。大模型调用次数失败总用时输入 token 数?输入 / 输出(含思考)的 token 数,来自接口返回的用量。输出 token
分析员144不到 1 分21050
工程师1522 分672163
调研员184不到 1 分23856
运行配置与来源
运行?一次完整的自动搜索或 Agent 会话,有自己的锁定配置和证据包。20261001-140014-search-t1-g23-fake-cont
10-01 14:00 · 自动搜索 · T1:val · G23 验收 · fake-cont
题目?比赛的哪道题、哪个阶段,例如 T1:val 是第 1 题的验证阶段。T1:val
方式?自动搜索:ERA 式搜索树,多个节点不断改进程序;单 Agent:一个 Agent 会话从头做到尾。自动搜索 测试
搜索目标?这次运行用哪几把尺子、按什么权重合成分数来比较节点;目标不同的运行,最佳分不能直接比。proxy+proxy2+X3 等权;终检 X1
状态已停止
开始 / 结束10-01 14:00 / 10-01 14:04
用时4 分 / 预算 18 分
所在副本?运行目录所在的代码副本(Spark 上 ~/vec 下的哪个目录)。g23_wt
目的?这次运行为了回答什么问题,写在配置文件里。[回填] TEST ONLY (G23 D2 + C2): continues a G23 fake run (--continue-from; evidence must carry the imported lineage) and injects a provider outage (all roles, 150-330 s after the start) for the circuit breaker. harness.py launch --config agent/configs/search_t1_g23_fake_continue.yaml --allow-dirty --continue-from <G23 fake run>

出处?这次运行用的代码、配置、数据和模型的指纹,靠它们可以原样找回并复现。

代码版本?运行锁定时代码仓库的 git 提交号;带 +dirty 表示当时有未提交的改动。e8d2570dc26d3e72d3a62f4efe30f0afeced8ed7 代码有未提交改动
版本标签?可提交运行在锁定的提交上打的 git 标签 run/<运行编号>,以后能原样找回代码。—
配置文件agent/configs/search_t1_g23_fake_continue.yaml
配置指纹 b2333d31286bcc87
锁定指纹?启动时把配置、代码、提示词等全部锁定后算出的总指纹。7424d3e7a4c278e5 锁定格式 v7
运行专用代码副本?启动时为这次运行单独检出的一份只读代码;运行全程只读它,不受主副本更新影响。没有(这次运行早于运行专用代码副本功能,读的是启动时的代码副本)
打分口径指纹?打分器、数据视图、种子等合起来的指纹;指纹相同,分数才能直接比较。cb5e01b153b197bf
数据视图指纹?程序能看到的输入数据文件的指纹,按视图汇总成一个短指纹。final:22 个文件,指纹 edb68fc794d79881
proxy:18 个文件,指纹 166d21c45cc35ede
proxy2:20 个文件,指纹 3a64c6f141374179
test:38 个文件,指纹 f706ad2858ee7264
大模型?每个角色用的大模型;括号里是接口实际报告的模型名。分析员:fake (接口报告 fake)
工程师:fake (接口报告 fake)
调研员:fake (接口报告 fake)
审查员:fake (接口报告 fake)
运行目录/home/spark-longxinyang/vec/g23_wt/agent/runs/20261001-140014-search-t1-g23-fake-cont 主机 spark-ad3f
提交账本?notes/changelogs/submissions.tsv:每次上传官网的记录和返回的官网分。这次运行没有提交过官网
迭代报告?运行结束后自动生成的中文复盘报告(notes/reports/runs)。还没有迭代报告