运行档案 / T1:val / 10-02 12:45
假模型流程测试
先看终选决定,再沿节点查看方法、代码改动和对话证据。
终选程序?按该运行锁定的规则最终选出的程序;可能是候选节点,也可能由护栏回退到基线。
n2
本运行目标 51.54(种子 0 单次),还在搜索,暂时最好
节点?搜索树里的每个候选程序。
3
已打分 3
官网分?官网 P2 返回的真实分数。
—
还没有提交或还没有分数
大模型调用次数?各角色(调研员、工程师、分析员、审查员)调用大模型的次数。
0
实际结果与评分依据
搜索目标、护栏和诊断分开阅读。不同真值分片或 seed 的同名尺子保留各自记录。
| 分数 | 均值 | ± 标准差 | 次数 |
|---|---|---|---|
| 搜索目标分 | 51.54 | — | 1 |
| proxy | 56.23 | — | 1 |
| X3 | 46.85 | — | 1 |
来历?终选程序从种子程序一步步改过来的路径,每一步都写了改了什么、分数变了多少。
括号里的分差只表示变化方向,不代表统计显著性。
seed heart_jcf_peri
搜索目标分 51.54 · proxy 56.23 · X3 46.85
审查意见?审查员(Reviewer)检查程序是否越界读取、写死目标或钻评分器漏洞后的意见。 通过 seed (human-written, locked)
搜索树?每个点是一个节点,连线从父节点指向子节点;颜色表示结果。
蓝色粗线是来历路径;鼠标停在点上看节点,点一下打开节点页。
已打分?程序正常跑完并拿到分数。
搜索分数的变化?横轴是从运行开始算起的分钟数,纵轴是到那时为止最好的搜索目标分。
全部节点与对话(3)
| 节点 | 父节点 | 操作?种子:人写的起点;改进:在父节点上改;草稿:从头写;修复:修父节点的报错。 | 状态 | 搜索目标分?搜索用来比较节点的分数(各把尺子按权重合成,种子 0 单次)。 | 比父节点?这个节点的分数减去它父节点的分数;正数是变好。 | proxy?替代题:用手头已知阶段造的本地考题,T1 是用 E8.5 预测 E9.5。 | X3?用外部公开数据造的同类型题。 | 3 次复测?换 3 个随机种子各跑一次取平均 ± 标准差,比单次分更稳。 | 审查 | 用时?从运行开始到结束(或到现在)的挂钟时间。 | 方法说明?节点程序自带的 METHOD.md:这个程序做了什么、为什么。 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| n1 | — | 种子 | 已打分 | 50.0 | — | 50.0 | 50.0 | — | 通过 | 不到 1 分 | seed copy_last |
| n2 | — | 种子 | 已打分 | 51.5 | — | 56.2 | 46.8 | — | 通过 | 不到 1 分 | seed heart_jcf_peri |
| n3 | — | 种子 | 已打分 | 45.3 | — | 50.0 | 40.5 | — | 通过 | 不到 1 分 | seed pseudobulk_shift |
资源消耗与失败情况
没有失败节点
| 角色?调研员写计划、工程师改代码、分析员解读分数、审查员检查作弊。 | 大模型调用次数 | 失败 | 总用时 | 输入 token 数?输入 / 输出(含思考)的 token 数,来自接口返回的用量。 | 输出 token |
|---|---|---|---|---|---|
| 没有大模型调用记录 | |||||
运行配置与来源
| 运行?一次完整的自动搜索或 Agent 会话,有自己的锁定配置和证据包。 | 20261002-124509-search-t1-tune-fake 10-02 12:45 · 自动搜索 · T1:val · 假模型流程测试 · tune |
|---|---|
| 题目?比赛的哪道题、哪个阶段,例如 T1:val 是第 1 题的验证阶段。 | T1:val |
| 方式?自动搜索:ERA 式搜索树,多个节点不断改进程序;单 Agent:一个 Agent 会话从头做到尾。 | 自动搜索 测试 |
| 搜索目标?这次运行用哪几把尺子、按什么权重合成分数来比较节点;目标不同的运行,最佳分不能直接比。 | proxy+X3 等权;终检 X1 |
| 状态 | 中途崩溃 |
| 开始 / 结束 | 10-02 12:45 / 10-02 12:46 |
| 用时 | 1 分 / 预算 30 分 |
| 所在副本?运行目录所在的代码副本(Spark 上 ~/vec 下的哪个目录)。 | test_tune |
出处?这次运行用的代码、配置、数据和模型的指纹,靠它们可以原样找回并复现。
| 代码版本?运行锁定时代码仓库的 git 提交号;带 +dirty 表示当时有未提交的改动。 | 9a193a7ced6e9b7bb548a3e8275b9862375a9f1d |
|---|---|
| 版本标签?可提交运行在锁定的提交上打的 git 标签 run/<运行编号>,以后能原样找回代码。 | — |
| 配置文件 | /home/spark-longxinyang/vec/runs/test/20261002-124509-search-t1-tune-fake/config_source.yaml 配置指纹 80cce2adea890483 |
| 锁定指纹?启动时把配置、代码、提示词等全部锁定后算出的总指纹。 | 6bd0cc3ddb69b5be 锁定格式 v8 |
| 运行专用代码副本?启动时为这次运行单独检出的一份只读代码;运行全程只读它,不受主副本更新影响。 | 目录存在 /home/spark-longxinyang/vec/runs/test/20261002-124509-search-t1-tune-fake/code |
| 打分口径指纹?打分器、数据视图、种子等合起来的指纹;指纹相同,分数才能直接比较。 | e7e92820ae0907f8 |
| 数据视图指纹?程序能看到的输入数据文件的指纹,按视图汇总成一个短指纹。 | final:22 个文件,指纹 edb68fc794d79881 proxy:18 个文件,指纹 166d21c45cc35ede test:38 个文件,指纹 f706ad2858ee7264 |
| 大模型?每个角色用的大模型;括号里是接口实际报告的模型名。 | 分析员:fake (接口报告 fake) 工程师:fake (接口报告 fake) 调研员:fake (接口报告 fake) 审查员:fake (接口报告 fake) |
| 运行目录 | /home/spark-longxinyang/vec/runs/test/20261002-124509-search-t1-tune-fake 主机 spark-ad3f |
| 提交账本?notes/changelogs/submissions.tsv:每次上传官网的记录和返回的官网分。 | 这次运行没有提交过官网 |
| 迭代报告?运行结束后自动生成的中文复盘报告(notes/reports/runs)。 | 还没有迭代报告 |