Virtual Embryo Challenge更新于 10-03 18:47(北京时间) / 每 5 分钟更新

运行档案 / T1:val / 10-02 12:22

假模型流程测试

先看终选决定,再沿节点查看方法、代码改动和对话证据。

护栏选择了基线

当前候选没有通过本次运行锁定的护栏,最终交付基线。搜索最高分节点仍可在下方轨迹中追查。

与其他运行比较
终选程序?按该运行锁定的规则最终选出的程序;可能是候选节点,也可能由护栏回退到基线。
照抄基线
本运行目标 48.45(3 种子均值)
节点?搜索树里的每个候选程序。
3
已打分 3
官网分?官网 P2 返回的真实分数。
—
还没有提交或还没有分数
大模型调用次数?各角色(调研员、工程师、分析员、审查员)调用大模型的次数。
0

实际结果与评分依据

搜索目标、护栏和诊断分开阅读。不同真值分片或 seed 的同名尺子保留各自记录。

尺子用途分数评分上下文
X1护栏基线复测48.7全部真值 / 3 个 seed均值
X3护栏基线复测48.4真值 B 半 / 3 个 seed均值
X1终检诊断45.8全部真值 / 1 个 seed单次
X4终检诊断49.7全部真值 / 1 个 seed单次
X5终检诊断48.5全部真值 / 1 个 seed单次
proxy诊断记录50.0真值 B 半 / 1 个 seed单次
为什么选中这个结果:逐候选护栏证据

差值来自该运行的 final_guard 事件,按当时锁定规则判断。不同尺子的分差不合并成一个结论。

候选尺子相对基线当时判定
n1X1+0.00未通过
n1X3+0.00未通过
n2X1-0.36未通过
n2X3-0.28未通过
n3X1-9.23未通过
n3X3-7.82未通过

来历?终选程序从种子程序一步步改过来的路径,每一步都写了改了什么、分数变了多少。

括号里的分差只表示变化方向,不代表统计显著性。

最终选中基线,没有获选节点祖先链。下面保留整次搜索的全部节点与轨迹。

搜索树?每个点是一个节点,连线从父节点指向子节点;颜色表示结果。

蓝色粗线是来历路径;鼠标停在点上看节点,点一下打开节点页。

n1 种子,已打分,47.921n2 种子,已打分,48.712n3 种子,已打分,40.433
已打分?程序正常跑完并拿到分数。
搜索分数的变化?横轴是从运行开始算起的分钟数,纵轴是到那时为止最好的搜索目标分。
4848.54949.500.511.52从开始算起的分钟数20261002-122238-search-t1-x3guard-fake20261002-122238-search-t1-x3guard-fake:2 分钟 48.71
全部节点与对话(3)
节点父节点操作?种子:人写的起点;改进:在父节点上改;草稿:从头写;修复:修父节点的报错。状态搜索目标分?搜索用来比较节点的分数(各把尺子按权重合成,种子 0 单次)。比父节点?这个节点的分数减去它父节点的分数;正数是变好。X3?用外部公开数据造的同类型题。3 次复测?换 3 个随机种子各跑一次取平均 ± 标准差,比单次分更稳。审查用时?从运行开始到结束(或到现在)的挂钟时间。方法说明?节点程序自带的 METHOD.md:这个程序做了什么、为什么。
n1—种子已打分47.9—47.948.4通过不到 1 分seed copy_last
n2—种子已打分48.7—48.748.2通过不到 1 分seed heart_jcf_peri
n3—种子已打分40.4—40.440.6通过不到 1 分seed pseudobulk_shift
资源消耗与失败情况

没有失败节点

角色?调研员写计划、工程师改代码、分析员解读分数、审查员检查作弊。大模型调用次数失败总用时输入 token 数?输入 / 输出(含思考)的 token 数,来自接口返回的用量。输出 token
没有大模型调用记录
运行配置与来源
运行?一次完整的自动搜索或 Agent 会话,有自己的锁定配置和证据包。20261002-122238-search-t1-x3guard-fake
10-02 12:22 · 自动搜索 · T1:val · 假模型流程测试 · x3guard
题目?比赛的哪道题、哪个阶段,例如 T1:val 是第 1 题的验证阶段。T1:val
方式?自动搜索:ERA 式搜索树,多个节点不断改进程序;单 Agent:一个 Agent 会话从头做到尾。自动搜索 测试
搜索目标?这次运行用哪几把尺子、按什么权重合成分数来比较节点;目标不同的运行,最佳分不能直接比。X3;终检 X1、X4、X5;护栏 X3、X1;诊断 proxy
状态已结束
开始 / 结束10-02 12:22 / 10-02 12:29
用时6 分 / 预算 30 分
所在副本?运行目录所在的代码副本(Spark 上 ~/vec 下的哪个目录)。test_wt

出处?这次运行用的代码、配置、数据和模型的指纹,靠它们可以原样找回并复现。

代码版本?运行锁定时代码仓库的 git 提交号;带 +dirty 表示当时有未提交的改动。e160c4b248c748afdef30bcda5fdb26226650e21
版本标签?可提交运行在锁定的提交上打的 git 标签 run/<运行编号>,以后能原样找回代码。—
配置文件/home/spark-longxinyang/vec/runs/test/20261002-122238-search-t1-x3guard-fake/config_source.yaml
配置指纹 182ab6f1a922fe4b
锁定指纹?启动时把配置、代码、提示词等全部锁定后算出的总指纹。8b63f1740287db28 锁定格式 v8
运行专用代码副本?启动时为这次运行单独检出的一份只读代码;运行全程只读它,不受主副本更新影响。目录存在 /home/spark-longxinyang/vec/runs/test/20261002-122238-search-t1-x3guard-fake/code
打分口径指纹?打分器、数据视图、种子等合起来的指纹;指纹相同,分数才能直接比较。e7c0f76fbfe43939
数据视图指纹?程序能看到的输入数据文件的指纹,按视图汇总成一个短指纹。final:24 个文件,指纹 1ea9a3d2b62ff9fd
proxy:19 个文件,指纹 604f04735239a30a
test:97 个文件,指纹 bf6ea5457e25cb67
views:2 个文件,指纹 84c94bbe9cf59041
大模型?每个角色用的大模型;括号里是接口实际报告的模型名。分析员:fake (接口报告 fake)
工程师:fake (接口报告 fake)
调研员:fake (接口报告 fake)
审查员:fake (接口报告 fake)
运行目录/home/spark-longxinyang/vec/runs/test/20261002-122238-search-t1-x3guard-fake 主机 spark-ad3f
提交账本?notes/changelogs/submissions.tsv:每次上传官网的记录和返回的官网分。这次运行没有提交过官网
迭代报告?运行结束后自动生成的中文复盘报告(notes/reports/runs)。还没有迭代报告