总览 · ← 返回运行 20261001-233756-search-t1-abc-r0-A-era

节点 n22

稀疏保留加性偏移：nnz-only + 前50%|d|基因 + σ归一，ε=0.15，修复耗时/cov并提分

方法说明?节点程序自带的 METHOD.md：这个程序做了什么、为什么。

来自 programs.git b96be8a9bb:solution/METHOD.md

调研员的计划

代码改动?这个节点的程序和父节点程序的逐行差别：绿色是新增，红色是删除。

对比：父节点版本 29d63dacf9。改动的文件：solution/METHOD.md +28 −26、solution/run.py +51 −8

diff --git a/solution/METHOD.md b/solution/METHOD.mdindex 67775af..c64575f 100644--- a/solution/METHOD.md+++ b/solution/METHOD.md@@ -1,44 +1,46 @@-# 加性类型对比度表达偏移（x+ε(mu_c−mu_all)，ε=0.05，默认启用）：首个移动 de_recovery 的表达级机制，proxy 双 seed 正向+# 稀疏保留加性偏移：nnz-only + 前50%|d|基因 + σ归一，ε=0.15，修复耗时/cov并提分  ## 方法 -基底 = 节点 16/18 配置（最新官方输入阶段细胞池、alpha=-3 类型增殖权重、beta=-0.5 细胞级梯度、gamma=0.2 凋亡罚分、k=1 wrand 保底、按类型排名的温度 T_c∈[0.60,0.90]（ρ=0.75 凸组合排名轴）、E-S 不放回抽样）。+基底 = 节点 19 配置（最新官方输入阶段细胞池、alpha=-3 类型增殖权重、beta=-0.5 细胞级梯度、gamma=0.2 凋亡罚分、k=1 wrand 保底、按类型排名的温度 T_c∈[0.60,0.90]（ρ=0.75 凸组合排名轴）、E-S 不放回抽样、加性类型对比度偏移）。 -**本节点新增（默认启用，无 env 门控，吸取节点 18 no-op 教训）**：E-S 抽样完成后、输出前，对每个输出细胞做加性偏移+**本节点改动（默认启用，无 env 门控）**：把节点 19 的加性偏移 x'=clip(x+ε·(mu_c−mu_all),0,∞) 重写为稀疏保留形式： -    x'_i = clip(x_i + ε · sign · (mu_c − mu_all), 0, ∞)+1. **nnz-only**：偏移只加到 CSR 已有非零元素上（`SHIFT[rowtype, indices]` 直接加到 `data` 段），不产生 fill-in，输出 nnz 与基底相同（21.87M），零元素不被激活；+2. **基因子集**：对每个类型，只偏移 |d_c|（d_c = mu_c − mu_all）排名前 50% 的非零基因（VEC_ADDFRAC=0.5），其余基因不动；+3. **σ 归一**：shift_g = ε·d_c[g]/(σ_g+0.1)，σ_g 为输入池该基因的全局标准差（现场计算），防止高方差基因被过度偏移（保护 cov）、让低表达高特异基因获得有意义偏移（保护 cell_state）；+4. **ε 重调**：σ 归一后偏移幅度变小，ε 从 0.05 重新扫描，采纳 ε=0.15（VEC_ADDEPS 默认值）。 -其中 mu_c 是该细胞所属类型的伪批量均值、mu_all 是全池均值，均在输入池上现场计算（无硬编码统计量）。ε=0.05（VEC_ADDEPS 默认值），sign=+1（放大类型间对比度，「发散」方向）。实现约束（按 PLAN）：逐类型切片 `Xcsr[rows] += ε·D[t]`，不做全量 todense；clip 到 ≥0；X3 恒等路径（n_out≥n_obs）跳过；类型细胞数 <3 时该类型 D=0（伪批量不可靠）；VEC_ADDMODE=pathway 回退到 dev 时打印日志（模式、通路集合数、基因覆盖率）。+mu_c、mu_all、σ_g 均从输入池现场计算，无任何硬编码统计量；类型细胞数 <3 时 D=0；X3 恒等路径（n_out≥n_obs）跳过整个加性块。 -生物学动机：类型均值沿「本类型相对全池的偏差方向」小幅外推，近似 E9.5→E10.5 期间类型继续沿自身分化方向漂移（阶段无关的通用机制假设，不使用任何保留阶段测量）。+生物学动机同节点 19：类型均值沿「本类型相对全池偏差方向」小幅外推，近似输入→目标期间类型继续沿自身分化方向漂移（阶段无关通用机制假设）。 -## 查分记录（proxy A 半，共用 6 次）+## 查分记录（proxy A 半 seed0/seed1 + X3，共用 7 次） -| 配置 | seed 0 | seed 1 | de_score s0/s1 | cov s0 | cell_state s0 |-|---|---|---|---|---|---|-| 基底=节点 18 | 56.10 | 55.48 | 0.0727 / 0.0545 | 53.51 | 55.12 |-| ε=0.02 | 56.26 | - | 0.0727 | 53.99 | 59.01 |-| **ε=0.05（采纳）** | **56.35** | **55.67** | **0.0909** / 0.0545 | 52.43 | 59.83 |-| ε=0.075 | 56.28 | - | 0.0909 | 51.09 | 60.40 |-| ε=0.10 | 56.17 | - | 0.0909 | 49.79 | 60.80 |-| ε=0.05 + T_lo=0.55（副靶） | 55.60 | - | 0.0727 | 50.29 | 59.36 |+| 配置 | seed 0 | seed 1 | cell_state s0 | cov s0 | de_score s0/s1 | 耗时 |+|---|---|---|---|---|---|---|+| 父节点 19（ε=0.05 稠密化） | 56.35 | 55.67 | 59.83 | 52.43 | 0.0909/0.0545 | 56.9s |+| nnz-only+子集+σ归一 ε=0.05 | 56.88 | 56.14 | 60.25 | 54.34 | 0.0909/0.0545 | 4.4s |+| 同上 ε=0.10 | 57.08 | - | 61.45 | 53.96 | 0.0727 | 4.4s |+| **同上 ε=0.15（采纳）** | **57.12** | **56.37** | 61.85 | 53.56 | 0.0727/0.0364 | 4.4s |+| 同上 ε=0.20 | 56.92 | - | 61.49 | 53.11 | 0.0727 | 4.3s |  结论： -1. **ε=0.05 采纳**：seed0 +0.25、seed1 +0.19，双 seed 正向。de_score 在 seed0 越过 0.0727 平台到 0.0909（de_recovery 51.33→52.48，10 个节点以来首次移动）；cell_state +4.7（55.12→59.83，加性偏移把细胞云推向更接近目标分布的方向，mmd_u 0.0139→0.0122）；direction +3.2。代价：cov −1.1（53.51→52.43，仍在 PLAN 风险阈值 1.5 内）。-2. **剂量曲线单峰**：0.02→56.26，0.05→56.35，0.075→56.28，0.10→56.17。ε 越大 cov 单调下降（0.10 时 −3.7），de 档位在 ε≥0.05 稳定在 0.0909。0.05 是总分最优。-3. **副靶 T_lo=0.55 证伪**：叠加 ε=0.05 后总分掉到 55.60，de 掉回 0.0727，cov 反而更差（50.29）。T_lo=0.60 保留。-4. sign=−1（收敛方向）未测：PLAN 里它只是「de 不动」时的备选，而 de 已向上移动，止损规则不触发。+1. **ε=0.15 采纳**：双 seed 均高于父（+0.77/+0.70），也高于 ε=0.05 稀疏版（+0.24/+0.23）。剂量曲线单峰，0.15 为顶。+2. **工程目标全部达成**：耗时 56.9s→4.4s（−13×），nnz 无 fill-in，内存回到基底层级；cov 从 52.56 回补到 53.56（seed0 上 ε=0.05 时 54.34 > 父基底 53.51），cell_state 从 56.09 提到 61.85。+3. de_score 在 seed1 落到 0.0364：与父节点 ANALYSIS 一致，0.0364–0.0909 是随 seed 翻档的离散平台，不作为机制性指标；de_recovery 组均值与父持平（51.96/50.96 vs 51.33）。+4. proxy2 输出与 proxy 逐字节一致（include_external=False，md5 相同）→ proxy2 分数同 proxy；X3 恒等路径无 [add] 日志、vec-check ok、查分 50.00（与父相同）。  ## 验证过 / 未验证 -- 验证：6 次 proxy A 半查分；新代码路径默认执行（输出 sha256 与基底不同，`[add] mode=dev` 日志出现）；同 seed 重跑逐字节一致（确定性，偏移无 RNG）；三视图全部跑通且 vec-check ok——proxy2 输出与 proxy 逐字节一致（include_external=False，加性块同样作用于 proxy2 的官方 E8.5 池），X3 恒等路径跳过加性块（n_out≥n_obs，无 [add] 日志）；运行 ~4.8s/视图，峰值内存与基底同量级（逐类型切片，最大类型块 << 全量稠密）。-- 未验证：final 视图（代码路径同 proxy，dt=1；两输入阶段时池仍是最后一个官方阶段，机制不变）；B 半；sign=−1；ε∈(0.05,0.075) 细网格；pathway 模式（dev 已达标，未消耗查分）；多 seed（仅 0/1）。-- 知识来源：细胞周期基因（Tirosh et al. 2016 惯例）、凋亡基因（GO:0006915）为阶段无关通用知识，同父节点；加性偏移方向 mu_c−mu_all 完全由输入池现场计算，不含任何保留阶段/禁窗/保留基因型信息，无硬编码统计量。+- 验证：7 次查分（proxy×6、X3×1）；三视图全部跑通且 vec-check ok；同 seed 重跑逐字节一致（偏移无 RNG，确定性）；新代码路径默认执行（[add] nnz-only 日志、nnz=21867821 与基底相同）。+- 未验证：final 视图（代码路径同 proxy，dt=1，机制不变）；B 半；ε∈(0.15,0.20) 细网格；VEC_ADDFRAC 其它值（0.3/0.7）；pathway 模式（节点 18 遗留，未测）；seed≥2。+- 知识来源：细胞周期基因（Tirosh et al. 2016 惯例）、凋亡基因（GO:0006915）为阶段无关通用知识，同父节点；偏移方向与幅度完全由输入池现场计算，不含任何保留阶段/禁窗/保留基因型信息。  ## 下一步建议 -1. **cov 回补**：ε=0.05 的 cov 代价 −1.1。可试「偏移只作用于高 |d| 基因」（例如 |d_c| 前 50% 基因置偏移、其余不动）或按基因 std 归一的偏移（ε·d_c/(σ_g+δ)，即 pathway 模式的思路），单 seed 探针，目标 cov 回到 53+ 且 de 保持 0.0909。-2. **sign=−1 对照**：一次查分即可确认发散方向是否真的优于收敛（若 −1 更好，说明 de 档位与 mmd 的收益来自「靠近全池均值」而非「类型外推」，机制解释要改写）。-3. **ε 与 dt 挂钩**：final 上 dt=1（proxy 也是 1），但 X3 之外若有 dt=0.5 的视图，可试 ε·dt 线性缩放；当前常数 ε 在两种 dt 下未验证。-4. 不要再试：T_lo=0.55（叠加后证伪）、ε≥0.075（cov 单调恶化）、过渡态插值、k≥2、中心性偏置、乘性调制。+1. VEC_ADDFRAC 扫描（0.3 / 0.7 / 1.0，σ 归一保留）：子集比例是本次未扫的自由度，cov 与 cell_state 的权衡点可能移动。+2. VEC_ADDDELTA 扫描（0.05 / 0.3 / 1.0）：σ 归一的分母偏移量控制低表达基因的放大倍数。+3. 加性偏移与节点 20 的解剖学重加权（+0.34 rank3）组合：两个正交机制（组成 vs 表达），当前树里未在同一节点合流。+4. 不要再试：ε≥0.20（cov 单调恶化）、稠密 fill-in 应用、T_lo=0.55、过渡态插值、乘性调制。diff --git a/solution/run.py b/solution/run.pyindex d25efb8..ed9c344 100644--- a/solution/run.py+++ b/solution/run.py@@ -115,7 +115,18 @@ Node 19 (ADOPTED, default ON):       53.51 -> 52.43); seed 1 55.67 vs 55.48. Dose curve single-peaked:       0.02 -> 56.26, 0.075 -> 56.28, 0.10 -> 56.17 (cov monotone down).       T_lo=0.55 stacked on eps=0.05 refuted (55.60, de drops to 0.0727).-      Types with < 3 cells get no offset; X3 identity path skips the block.+       Types with < 3 cells get no offset; X3 identity path skips the block.++Node 22 (ADOPTED, replaces node 19's dense-fill application):+     * sparsity-preserving additive offset: shift is added ONLY to existing+       CSR nonzeros (no fill-in: nnz stays 21.87M, runtime 56.9s -> 4.4s,+       memory back to baseline), restricted per type to the top 50% |d_c|+       genes (VEC_ADDFRAC) and sigma-normalized: shift_g = eps*d_c[g]/+       (sigma_g+0.1) (VEC_ADDDELTA), sigma_g the pool-wide gene std. Because+       the normalized shifts are smaller, eps was re-tuned: 0.05 -> 56.88,+       0.10 -> 57.08, 0.15 -> 57.12, 0.20 -> 56.92 (proxy A-half seed 0);+       eps=0.15 adopted (seed 1: 56.37 vs parent 55.67, both seeds +).+       covariation recovered 52.56 -> 53.56/53.96, cell_state 56.09 -> 61.85. """  from __future__ import annotations@@ -667,7 +678,7 @@ def main() -> None:     # Types with < MIN_ADD_CELLS cells get D=0 (unreliable pseudobulk).     # VEC_ADDMODE=pathway: sign-based pathway module direction instead of dev.     # Skipped on the identity path (n_out >= pool, X3) and without celltypes.-    add_eps = float(os.environ.get("VEC_ADDEPS", "0.05"))+    add_eps = float(os.environ.get("VEC_ADDEPS", "0.15"))     if add_eps > 0.0 and ct is not None and n_out < adata.n_obs and X_trans is None:         import sys         types_a, codes_a = np.unique(ct, return_inverse=True)@@ -699,16 +710,48 @@ def main() -> None:         n_skipped = int(np.sum(counts_a < 3))         if n_skipped:             print(f"[add] skipped {n_skipped} types with <3 cells", file=sys.stderr)+        # Node 22: sparsity-preserving application.+        #  * nnz-only: shift is added to EXISTING nonzero entries only (CSR+        #    data segment), no fill-in, output keeps the base nnz structure;+        #  * gene subset: per type, only the top VEC_ADDFRAC fraction of+        #    nonzero-|d_c| genes are shifted (rest untouched);+        #  * sigma normalization: shift_g = eps * d_c[g] / (sigma_g + delta),+        #    sigma_g = pool-wide gene std, so high-variance genes are not+        #    over-shifted (protects covariation) and low-expression specific+        #    genes still move (protects cell_state). VEC_ADDSIG=0 disables.+        add_frac = float(os.environ.get("VEC_ADDFRAC", "0.5"))+        add_delta = float(os.environ.get("VEC_ADDDELTA", "0.1"))+        add_sig = float(os.environ.get("VEC_ADDSIG", "1.0"))         Xcsr = X_out.tocsr() if sp.issparse(X_out) else sp.csr_matrix(X_out)         codes_out = codes_a[rows]+        SHIFT = np.zeros(D.shape, dtype=np.float32)+        if add_sig != 0.0:+            std_pool = np.sqrt(np.maximum(+                np.asarray(adata.X.power(2).mean(axis=0)).ravel() - mu_all ** 2,+                0.0))+        else:+            std_pool = np.zeros(D.shape[1])+        denom = (std_pool + add_delta).astype(np.float32) if add_sig != 0.0 \+            else np.ones(D.shape[1], dtype=np.float32)         for t in range(len(types_a)):-            rws = np.flatnonzero(codes_out == t)-            if rws.size == 0 or not np.any(D[t]):+            d = D[t]+            nz = np.flatnonzero(d != 0.0)+            if nz.size == 0:                 continue-            blk = np.asarray(Xcsr[rws].todense(), dtype=np.float32)-            blk += (add_eps * D[t]).astype(np.float32)-            np.clip(blk, 0.0, None, out=blk)-            Xcsr[rws] = sp.csr_matrix(blk)+            if add_frac < 1.0:+                k = max(1, int(round(add_frac * nz.size)))+                top = nz[np.argsort(-np.abs(d[nz]), kind="stable")[:k]]+            else:+                top = nz+            SHIFT[t, top] = (add_eps * d[top] / denom[top]).astype(np.float32)+        nnz_shift = float(np.mean(np.abs(SHIFT) > 0))+        Xcsr.data = Xcsr.data.astype(np.float32, copy=False)+        rowtype = np.repeat(codes_out.astype(np.int64),+                            np.diff(Xcsr.indptr).astype(np.int64))+        Xcsr.data += SHIFT[rowtype, Xcsr.indices]+        np.clip(Xcsr.data, 0.0, None, out=Xcsr.data)+        print(f"[add] nnz-only frac={add_frac} sig={add_sig} delta={add_delta} "+              f"gene_cov={nnz_shift:.3f} nnz={Xcsr.nnz}", file=sys.stderr)         X_out = Xcsr      if eps > 0.0 and ct is not None:

调研来源?调研员查到并用到的知识条目和文献检索结果（只列标题和编号）。

用到的知识库条目

分析结果?分析员写的 ANALYSIS.json：改了什么、各组分数怎么变、假设是否成立、经验和下一步建议。

对话摘要?每个角色和大模型对话的统计：轮数、工具调用、用时、token 数和最后的回答摘录；原始记录只给路径。

只给统计和最后回答的摘录；完整对话请到原始记录位置里列出的文件看。

分析员

ANALYSIS.json written

工程师

完成。节点 22 提交摘要：

**做了什么**：把节点 19 的加性类型偏移重写为稀疏保留形式——(1) nnz-only：偏移只加到 CSR 已有非零元素（`SHIFT[rowtype, indices]` 直加 data 段），无 fill-in；(2) 每类型只偏移 |mu_c−mu_all| 前 50% 基因；(3) σ 归一 shift=ε·d_c/(σ_g+0.1)；(4) ε 重扫并采纳 0.15（默认值，无 env 门控）。

**查分结果**（7 次，A 半）：
- proxy seed0 **57.12** / seed1 **56.37**（父 56.35/55.67，双 seed +0.7）；cell_state 56.09→61.85，cov 52.56→53.56 回补
- 耗时 56.9s→4.4s，nnz 与基底逐位相同（21.87M），确定性重跑字节一致
- proxy2 输出与 proxy 逐字节相同（md5 一致）；X3 恒等路径 50.00，三视图 vec-check 全部 ok

**下一步最值得试**：(1) VEC_ADDFRAC（0.3/0.7/1.0）与 VEC_ADDDELTA 扫描——本次未动的两个自由度；(2) 该加性偏移与节点 20 解剖学重加权（rank3 54.30）组合，两个正交机制尚未合流。

调研员

 to CSR fill-in from adding dense vector to sparse rows
- **ANALYSIS confirms**: de_score 0.0727↔0.0909 is seed-dependent discrete plateau, not mechanistic; additive shift densifies matrix by filling zeros
- **Failed approaches to avoid**: T_lo=0.55, ε≥0.075, multiplicative boost, transition interpolation, centrality bias, k≥2

```json
{
  "name": "稀疏保留加性偏移：nnz-only修改 + 高|d|基因子集限制，回补cov与运行时间",
  "motivation": "节点19的加性偏移ε=0.05带来cell_state +0.97但代价严重：(1) 耗时56.9s（父1.2s，47×），因CSR稀疏行+稠密向量产生fill-in，零元素全部变正；(2) covariation 53.51→52.56（−0.95）。de_recovery 51.33未动（ANALYSIS确认0.0909是seed翻档噪声）。节点18→19总分仅+0.14，远低于2分噪声，说明当前实现的收益被成本和cov损失抵消。本方案目标：保留cell_state收益的同时修复运行时间和cov回退。",
  "approach": "步骤1（工程修复，必须）：将加性偏移改为只修改CSR已有非零元素。具体：对每个类型t，取Xcsr[rows_t]，用indptr定位data段，对data段中对应高|d|基因的列位置做 data[idx] += ε·d_c[g]（仅当原值>0时），不做行块替换、不产生新nnz。验收：输出仍为稀疏矩阵（nnz与基底相同量级），运行时间<5s，内存<1.4GB。步骤2（机制改进）：限制偏移基因子集。对每个类型计算d_c = mu_c − mu_all，取|d_c|排名前50%的基因（约16000个中取8000），其余基因d_c置零。同时按基因标准差归一：shift_g = ε · d_c[g] / (σ_g + 0.1)，其中σ_g是输入池中该基因的全局标准差。这防止高方差基因被过度偏移（保护cov），同时让低表达高特异基因获得有意义的偏移（保护cell_state）。步骤3（查分验证）：先用seed 0在proxy上查一次，确认：(a)运行时间<5s；(b)cell_state≥55.5；(c)covariation≥53.0。若通过，再用seed 1确认双seed正向。若cov仍<52.5，将基因子集缩至前30%再试一次（第4次查询）。若前两次查询均显示cell_state<55.0，说明nnz-only限制削弱了偏移效果，回退为全基因但仅修改nnz（步骤1单独生效）。步骤4（可选，若前3步顺利且查询次数<8）：尝试用prior/中的Reactome通路注释替代全局前50%筛选——对每个类型，只偏移该类型伪批量中通路富集基因（top 3通路的并集，约500-1500基因），保持σ归一。单seed探针，目标de_score不降（≥0.0727）且cov≥53.5。X3路径不变（n_out≥n_obs时跳过）。proxy2同proxy（include_external=False，加性块作用于官方E8.5池）。final视图代码路径同proxy（dt=1，机制不变）。",
  "expected_groups": ["covariation", "cell_state"],
  "risks": "(1) nnz-only修改可能削弱cell_state收益：偏移只作用于已有表达的基因，零表达基因不被激活，细胞云移动幅度减小。Engineer应在第一次查分时对比cell_state是否≥55.5；若<55.0立即回退为全基因nnz修改。(2) 前50%基因筛选+σ归一可能过度保守，总分掉到54以下：止损条件是两次查询均<54.0，则放弃子集限制，只保留nnz-only修复。(3) 30分钟时限紧张：步骤1（CSR indptr操作）约需10-15分钟编码调试，步骤2约5分钟，查分约3-5分钟/次。若步骤1超时，可简化为：直接对Xcsr.data数组按列掩码操作（预计算每列是否属于前50%基因），避免逐行循环。(4) de_recovery大概率仍为51.33平台（ANALYSIS已明确小幅度偏移无法移动DE集合），不应为此消耗额外查询。",
  "sources": []
}
```

审查员

REVIEW.json written