总览 · ← 返回运行 20261002-135403-search-t1-x3-era-mechcheck

节点 n7

nnz_pseudobulk_shift（与父节点 4 逐位一致）：copy_last 抽样后，把每类型伪批量差值只加到细胞原本非零的元素上（截 ≥0），保留 dropout 稀疏结构；新增 hybrid/fold/cap 机制均经 X3 实验否定，默认不启用。

方法说明?节点程序自带的 METHOD.md：这个程序做了什么、为什么。

来自 programs.git f8aad78eb3:solution/METHOD.md

调研员的计划

代码改动?这个节点的程序和父节点程序的逐行差别：绿色是新增，红色是删除。

对比：父节点版本 d6e593e5fc。改动的文件：solution/METHOD.md +31 −31、solution/run.py +56 −7

diff --git a/solution/METHOD.md b/solution/METHOD.mdindex 25a3bf0..79e778f 100644--- a/solution/METHOD.md+++ b/solution/METHOD.md@@ -1,42 +1,42 @@-nnz_pseudobulk_shift：copy_last 抽样后，把每类型伪批量差值只加到该细胞原本非零的元素上（负值截 0），保留 dropout 稀疏结构。+nnz_pseudobulk_shift（与父节点 4 逐位一致）：copy_last 抽样后，把每类型伪批量差值只加到细胞原本非零的元素上（截 ≥0），保留 dropout 稀疏结构；新增 hybrid/fold/cap 机制均经 X3 实验否定，默认不启用。 -## 方法+## 方法（默认路径 = 父节点 4）  - 读最后两个输入阶段（按 time 排序，视图无关），对同时出现在两阶段的每个细胞类型计算逐基因差值   `delta_g = mean(last|type) - mean(prev|type)`。-- 对抽样输出的每个细胞，仅在其自身 `x_g != 0` 的位置执行 `x_g += alpha * delta_g`，随后按输出格式要求-  截到 ≥0（负值被格式检查拒绝，无法保留负数）。零元素（dropout）完全不动。-- 类型不在前一阶段 → 原样复制。单输入阶段（如 T1 proxy 只有 E8.5）→ 退化为 copy_last（同样抽样），不崩。-- 默认 `alpha=1.0`，全部有差值的基因都平移（`--z 0 --min-delta 0`），不按 z 分数筛基因。-- 纯 CPU、确定性（`np.random.default_rng(seed)`），X3 视图上 ~5s / <1GB。`EXECUTION.json` 声明 gpu=false。--## 为什么这样改（相对父节点 pseudobulk_shift）--父节点把差值稠密地加到所有元素再截 0：正差值基因的所有 dropout 位置变成非零常数，破坏稀疏-dropout 模式，X3 上 covariation 从 ~48 掉到 15.4，虽然 de_recovery 升到 47.5。本节点发现：-de_recovery 主要由「平移覆盖的基因数」决定，与幅度关系不大；covariation/cell_state 主要由-「是否改动零元素、值扭曲多大」决定。只动非零元素同时满足两边：de_recovery 46.9（接近父节点），-covariation 47.8、cell_state 48.6（接近 copy_last）。--## 验证过什么（X3 视图，vec-score A 半，seed 0）--- copy_last（本代码单阶段路径等效）≈ 47.6；父节点稠密平移 40.4。-- 只加非零元素、全基因、alpha=1.0：48.11（de 46.9 / dir 48.96 / cs 48.60 / cov 47.80）。-- 试过并放弃：稠密 add 平移（各种 z/min-delta/alpha 组合，46.9–47.6）；1/nnz 比例放大差值使均值-  完全对齐（放大伤害 cell_state/covariation，47.1–47.6）；alpha=0.75（48.12，与 1.0 持平）、-  alpha=1.5（47.86，更差）；z 筛选只平移高置信 DE 基因（de_recovery 上不去）。-- seed 0 两次运行输出 md5 相同；seed 0/1/2 均通过 vec-check。+- 对抽样输出的每个细胞，仅在其自身 `x_g != 0` 的位置执行 `x_g += alpha * delta_g`（alpha=1.0），截到 ≥0。+  零元素（dropout）完全不动。+- 类型不在前一阶段 → 原样复制。单输入阶段 → 退化为 copy_last（同样抽样），不崩。+- 纯 CPU、确定性（`np.random.default_rng(seed)`）。默认输出与父节点 md5 逐位一致（已验证）。+- 新增命令行开关（默认关闭，不影响默认行为）：`--mode hybrid/fold/combo`、`--frac-thresh`、+  `--fold-alpha`、`--fold-cap`、`--max-delta`。++## 本节点验证了什么（X3 视图，vec-score A 半）++PLAN 的核心假设（对高 nnz-frac 基因用 dense add 可在不伤 covariation 的前提下抬 de_recovery）**被否定**：++- hybrid（frac>ft 的基因 dense add，其余 nnz-only，alpha=1.0，seed 0）：+  ft=0.3 → 44.28（cov 32.2）；ft=0.5 → 46.85（cov 42.6）；ft=0.7 → 47.89（cov 47.0）。+  对照组纯 nnz 同 seed 为 48.11（cov 47.8）。dense 比例越高 covariation 单调越差，+  且 de_recovery 停在 46.9，与纯 nnz 完全相同——高表达基因 dense add 并不提升 de_recovery。+- fold（线性空间倍数变化乘到非零元素，cap 4）：fold_alpha=1.0 → 47.44；0.5 → 47.40；+  combo（add 0.5 + fold 0.5）→ 47.79。全部低于纯 nnz 48.11，且 direction 变差+  （de_direction -0.043~-0.046 vs -0.027）。+- delta 截断 `--max-delta`：cap=0.25 → 48.25，cap=0.15 → 48.31，cap=0.1 → 48.28，cap=0.5 → 48.11+  （seed 0）。3 种子均值（seed 0/1/2）：无 cap 48.50，cap0.15 48.53，cap0.25 48.52——+  全部在 2 分噪声内无法区分，cap 的 seed-0 增益不跨种子复现（seed 1/2 上 de_recovery 反而略降）。+  故默认不启用 cap。+- 结论：在 X3 上，「只动非零元素的常数加法平移（alpha≈0.75–1.0，全基因）」是该家族的局部最优，+  ~48.1–48.3（A 半）；平移的施加方式（dense/hybrid/fold/截断）都未能超出噪声地改进。  ## 没验证什么 -- 未在 T1 proxy/proxy2/final 官方视图上跑分（本节点只有 X3 额度）；单输入退化路径按构造等于-  copy_last，逻辑上安全。-- alpha=1.0 在 X3（步长 0.25d、外推 0.5d）与 T1 final（步长 1d、外推 1d）含义不同；`--dt-scale`-  开关存在但默认关闭，X3 上 dt 缩放更差（47.4）。-- 差值截 0 只在负差值超过原值时发生，扭曲小；未系统比较其他 flooring。+- 未在 T1 proxy/proxy2/final 官方视图上跑分（本节点只有 X3 额度）；单输入退化路径未改动，按构造等于 copy_last。+- cap/hybrid/fold 在 T1 final（步长 1d）上的行为未测；X3 步长 0.25d，结论外推需谨慎。+- 3 种子均在 X3 A 半上比较；B 半的地板/天花板可能压缩差异。  ## 知识来源  未使用任何阶段特异生物学先验（无标记基因、无类型清单、无禁窗信息）。唯一假设是通用机制性的：-相邻阶段间测得的伪批量差异是该发育方向变化的可用局部近似。全部统计量从 manifest 指定的输入-视图现场计算。+相邻阶段间测得的伪批量差异是该发育方向变化的可用局部近似。全部统计量从 manifest 指定的输入视图+现场计算，不依赖绝对时间、视图路径或数据集名（视图无关）。diff --git a/solution/run.py b/solution/run.pyindex ceaea06..3648927 100644--- a/solution/run.py+++ b/solution/run.py@@ -61,8 +61,9 @@ def type_shifts(     last_labels,     z_thresh: float,     min_delta: float,+    max_delta: float = 0.0, ) -> dict[str, tuple[np.ndarray, np.ndarray]]:-    """Per type: (selected gene columns, delta on those columns)."""+    """Per type: (selected gene columns, delta on those columns, nnz frac, fold)."""     out: dict[str, tuple[np.ndarray, np.ndarray]] = {}     prev_types = set(np.unique(prev_labels).tolist())     for t in np.unique(last_labels):@@ -75,11 +76,19 @@ def type_shifts(         m_l, v_l, f_l = col_stats(last_X, il)         m_p, v_p, _ = col_stats(prev_X, ip)         d = (m_l - m_p).astype(np.float32)+        if max_delta > 0:+            d = np.clip(d, -max_delta, max_delta)+        fold = ((np.expm1(m_l) + 1e-3) / (np.expm1(m_p) + 1e-3)).astype(np.float32)         se = np.sqrt(v_l / len(il) + v_p / len(ip) + EPS)         z = np.abs(d) / se         sel = (z >= z_thresh) & (np.abs(d) >= min_delta)         if sel.any():-            out[str(t)] = (np.flatnonzero(sel), d[sel], f_l[sel].astype(np.float32))+            out[str(t)] = (+                np.flatnonzero(sel),+                d[sel],+                f_l[sel].astype(np.float32),+                fold[sel],+            )     return out  @@ -91,14 +100,27 @@ def main() -> None:     parser.add_argument("--alpha", type=float, default=1.0)     parser.add_argument("--z", type=float, default=0.0)     parser.add_argument("--min-delta", type=float, default=0.0)+    parser.add_argument("--max-delta", type=float, default=0.0,+                        help="if >0, clip per-gene delta to [-max_delta, max_delta]")     parser.add_argument("--floor", type=float, default=0.0,                         help="optional soft floor after shift (e.g. -0.1); None = no clip")     parser.add_argument("--frac-floor", type=float, default=1.0)     parser.add_argument("--dt-scale", type=int, default=0,                         help="scale alpha by (t_target-t_last)/(t_last-t_prev)")-    parser.add_argument("--mode", choices=["add", "nnz"], default="nnz",-                        help="add: shift all entries; nnz: shift only nonzero entries, "-                             "rescaled by 1/nnz-fraction so the pseudobulk mean matches")+    parser.add_argument("--mode", choices=["add", "nnz", "hybrid", "fold", "combo"],+                        default="nnz",+                        help="add: shift all entries; nnz: shift only nonzero entries; "+                             "hybrid: dense add for genes with nnz-frac > --frac-thresh, "+                             "nnz-only for the rest; fold: multiplicative linear-space "+                             "fold-change on nonzero entries only; combo: nnz add "+                             "(--alpha) then fold (--fold-alpha)")+    parser.add_argument("--frac-thresh", type=float, default=0.5,+                        help="hybrid mode: genes with last-stage nnz fraction above this "+                             "get the dense add, others stay nnz-only")+    parser.add_argument("--fold-alpha", type=float, default=1.0,+                        help="exponent on the per-gene fold-change in fold/combo mode")+    parser.add_argument("--fold-cap", type=float, default=4.0,+                        help="cap per-gene fold-change to [1/cap, cap]")     args = parser.parse_args()      manifest = load_manifest(args.data)@@ -117,18 +139,45 @@ def main() -> None:     if len(stages) >= 2:         prev = read_stage(args.data, stages[-2], genes)         shifts = type_shifts(-            prev.X, labels_of(prev), last.X, labels_of(last), args.z, args.min_delta+            prev.X, labels_of(prev), last.X, labels_of(last), args.z, args.min_delta,+            args.max_delta,         )         del prev         if shifts:             labs = labels_of(last)[rows]             Xd = np.asarray(X.todense(), dtype=np.float32)-            for t, (cols, d, frac) in shifts.items():+            for t, (cols, d, frac, fold) in shifts.items():                 m = np.flatnonzero(labs == t)                 if not m.size:                     continue                 if args.mode == "add":                     Xd[np.ix_(m, cols)] += np.float32(alpha) * d+                elif args.mode == "hybrid":+                    dense = frac > args.frac_thresh+                    dc = cols[dense]+                    if dc.size:+                        Xd[np.ix_(m, dc)] += np.float32(alpha) * d[dense]+                    nc = cols[~dense]+                    if nc.size:+                        d_eff = np.float32(alpha) * d[~dense]+                        sub = Xd[np.ix_(m, nc)]+                        nz = sub != 0+                        sub[nz] += np.broadcast_to(d_eff, sub.shape)[nz]+                        Xd[np.ix_(m, nc)] = sub+                elif args.mode in ("fold", "combo"):+                    if args.mode == "combo":+                        d_eff = np.float32(alpha) * d+                        sub = Xd[np.ix_(m, cols)]+                        nz = sub != 0+                        sub[nz] += np.broadcast_to(d_eff, sub.shape)[nz]+                    else:+                        sub = Xd[np.ix_(m, cols)]+                        nz = sub != 0+                    f_eff = np.clip(fold, 1.0 / args.fold_cap, args.fold_cap)+                    f_eff = np.power(f_eff, np.float32(args.fold_alpha))+                    vals = np.expm1(sub[nz]) * np.broadcast_to(f_eff, sub.shape)[nz]+                    sub[nz] = np.log1p(np.maximum(vals, 0.0))+                    Xd[np.ix_(m, cols)] = sub                 else:                     # shift only nonzero entries, inflated by 1/nnz-fraction                     # (floor 0.25 -> at most 4x) so the per-gene mean moves by

调研来源?调研员查到并用到的知识条目和文献检索结果（只列标题和编号）。

用到的知识库条目

分析结果?分析员写的 ANALYSIS.json：改了什么、各组分数怎么变、假设是否成立、经验和下一步建议。

对话摘要?每个角色和大模型对话的统计：轮数、工具调用、用时、token 数和最后的回答摘录；原始记录只给路径。

只给统计和最后回答的摘录；完整对话请到原始记录位置里列出的文件看。

分析员

ANALYSIS.json written

工程师

**做了什么**：按 PLAN 实现了 hybrid 平移（高 nnz-frac 基因 dense add、其余 nnz-only），并额外实现/测试了 fold（线性空间倍数乘到非零元素）、combo、delta 截断（--max-delta）。所有新机制默认关闭，默认路径与父节点 4 逐位一致（md5 验证）。

**查分结果**（X3 A 半，用了 17/20 次）：PLAN 假设被否定——hybrid 随 dense 比例单调变差（ft=0.3/0.5/0.7 → 44.28/46.85/47.89 vs 纯 nnz 48.11），de_recovery 停在 46.9 不动；fold/combo 47.4–47.8 也差；max-delta cap 在 seed 0 略高（48.25–48.31）但 3 种子均值无差异（48.50/48.53/48.52）。最终提交 = 父节点行为 + 记录否定结果的 METHOD.md，保证不退步。

**下一步最值得试**：nnz-only 常数平移家族在 X3 上已饱和于 ~48.1–48.5（A 半），施加方式层面的改动都超出不了噪声。应换维度：(1) 细胞群体层面——按类型趋势调整抽样比例/细胞数而非只改表达值；(2) 利用 prior/ 资源（Reactome/CollecTRI）对 delta 做通路级平滑去噪，而不是逐基因独立；(3) 检查 direction 指标在 seed 1/2 上普遍更高（50+）的现象，确认评分器抽样方差来源后再决定是否值得优化。

调研员

- Key lesson: de_recovery driven by gene coverage; covariation destroyed by shifting zeros
- Current nnz-only with frac_floor=1.0 means effective mean shift = alpha×delta×nnzfrac (attenuated for sparse genes)
- Analyst suggests hybrid dense/nnz by gene sparsity

The mechanism I'll propose: for high-nnz-frac genes, dense add is safe (few zeros to pollute) and gives full mean shift; for sparse genes, keep nnz-only. This should boost de_recovery without the covariation collapse seen in node 2.

```json
{"name": "hybrid_shift：按 nnz-frac 分基因选 dense/nnz 平移",
 "motivation": "父节点 4 的 de_recovery 48.28 仍低于节点 3 的 48.69，且 covariation 47.62 比 copy_last 的 48.44 低 0.8。当前 nnz-only 模式下有效均值位移 = alpha*delta*nnzfrac，高表达基因（frac>0.5）被不必要地衰减；节点 2 证明稠密 add 崩 covariation 是因为污染了大量零元素，但高 nnz 基因本身零元素少，dense add 对协方差结构破坏极小。混合策略可在不伤 covariation 的前提下提高 de_recovery。",
 "approach": "在父节点 run.py 基础上新增 --mode hybrid 和 --frac-thresh（默认 0.5）：\n1. type_shifts() 已返回每基因 frac；在应用平移时，对 frac > frac_thresh 的基因用 dense add（所有元素 += alpha*delta，含零），对 frac ≤ frac_thresh 的基因保持 nnz-only（仅非零元素 += alpha*delta）。\n2. 负值统一截 0（格式要求）。\n3. 参数网格（X3 视图，vec-score A 半，每配置跑 2 次取均值以对抗 2 分噪声）：\n   - frac_thresh ∈ {0.3, 0.5, 0.7}\n   - alpha ∈ {0.75, 1.0, 1.25}\n   共 9 组 × 2 次 = 18 次查分，在 20 次额度内。\n4. 快速筛选：先跑 frac_thresh=0.5, alpha=1.0 两次；若 de_recovery ≥ 49 且 covariation ≥ 47.0，再扫其余；否则调 frac_thresh 向 0.7 方向（更保守）。\n5. 可选加 --floor -0.1（软 floor）作为第二轮微调（若第一轮最优配置已确定且剩余额度 ≥ 2）。\n6. 单输入阶段退路：与父节点相同，len(stages)<2 时直接 copy_last 抽样，不做平移。\n7. proxy2 双时间点：view_io.inputs_by_time 返回两阶段，代码自然走双阶段路径，缺失基因已由 view_io 用 E8.5 均值补齐，无需额外处理。final 同理。\n8. dt-scale 保持关闭（X3 上已证明更差）。",
 "expected_groups": ["de_recovery", "covariation"],
 "risks": "1) 高 frac 基因 dense add 仍可能轻微降低 covariation（零元素虽少但非零）——若 covariation < 47.0 应立即提高 frac_thresh 到 0.7 或放弃该方向；2) alpha=1.0 在 X3 上最优不代表 T1 最优，但 30 分钟时限内无法跑 T1 视图，只能信 X3 信号（父节点经验：X3 选参可迁移）；3) 9 配置 × 2 次 = 18 次查分，加上可能的调试，20 次额度很紧——Engineer 应先确认代码正确（1 次），再开始网格；4) 若所有混合配置都不优于纯 nnz（48.49），说明 de_recovery 瓶颈不在均值位移幅度，应如实报告。"}
```