总览 · ← 返回运行 20261002-202907-search-t1-scr-A

节点 n12

对被形状化细胞型的 PC 残差做迹保持白化-再着色协方差锚定（Σ_target=(1−w)Σ_pred+wΣ_obs，w=0.1），并把各向同性扩张系数 β 提到 4 以补偿 cell_state；w=0 时精确复现父节点。

方法说明?节点程序自带的 METHOD.md：这个程序做了什么、为什么。

来自 programs.git 18e8604a0e:solution/METHOD.md

调研员的计划

代码改动?这个节点的程序和父节点程序的逐行差别：绿色是新增，红色是删除。

对比：父节点版本 e5e626d75e。改动的文件：solution/METHOD.md +34 −31、solution/README.md +1 −1、solution/run.py +44 −3

diff --git a/solution/METHOD.md b/solution/METHOD.mdindex 686a480..ab51d4c 100644--- a/solution/METHOD.md+++ b/solution/METHOD.md@@ -1,47 +1,50 @@-低秩形状演化改为各向同性扩张（型内方差加权平均的单一扩张系数，保留加性非零掩码解码），替代父节点的逐 PC 各向异性缩放；PLAN 指定的乘性解码 x·exp(δ/x) 已实现并全扫 β，实测劣于加性，如实报告后不采用。+对被形状化细胞型的 PC 残差做迹保持白化-再着色协方差锚定（Σ_target=(1−w)Σ_pred+wΣ_obs，w=0.1），并把各向同性扩张系数 β 提到 4 以补偿 cell_state；w=0 时精确复现父节点。 -## 方法+## 方法（family: lowrank_shape，机制 = 后处理协方差锚定） -上游与父节点（node 5）完全一致：2500 HVG、25 PC（svds，v0=ones 确定性）、分型均值位移 α=1.8、τ=0.3、s=α·dt_out/dt_in clip[0,4]、加性位移只作用于非零元素、clip≥0、单输入退路 copy_last。均值位移部分一行未动（node 4 已验证其靠非零掩码保 de_recovery）。+上游与父节点（node 7）完全一致：2500 HVG、25 PC（svds，v0=ones 确定性）、分型均值位移 α=1.8、τ=0.3、s=α·dt_out/dt_in clip[0,4]、加性位移只作用于非零元素、clip≥0、单输入退路 copy_last。 -形状部分（family: lowrank_shape，机制=按配对细胞型估计各 PC 型内方差比、收缩后按时间比外推、只扩张，逐细胞缩放其偏离型心的 PC 残差——同型不同细胞因 PC 位置不同得到不同位移，非常数位移）本节点改两处：+新增块（按 PLAN，`COVAR_ANCHOR_W=w`，默认 0.1）：对每个被形状化的型 t（两阶段各 ≥10 细胞，X3 上共 5 个：AVC-CM、IFT-CM、OFT/RV-CM、SV-CM、Unknown）—— -1. **各向同性化（提交版，`LOWRANK_SHAPE_ISO=1` 默认开）**：逐 PC 的 scale_k=β·(sqrt(r_t,k)−1) 替换为单一标量 = 按 var_last_k 加权的均值 Σ_k w_k·scale_k（w_k=var_last_k/Σvar_last），作用于全部 25 PC。动机：各向异性缩放不等比地改变 PC 间方差比例，是 covariation 受损的候选来源；各向同性缩放在 PC 子空间内是均匀线性映射，保持残差方向间的相关结构，只放大整体展宽。τ_shape=0.5、r_t clip[1,4]（RLO=1 只扩张）、mc=10 均不变。-2. **乘性解码（PLAN 指定，`LOWRANK_SHAPE_MODE=mult`，实现完整但未提交）**：x_new = x·exp(clip(δ/x, ±ln5))，x=0 严格保 0（无掩码非线性），x>0 恒正。实测劣于加性（见下表），按 PLAN 预案"若 covariation 仍 <47 判定乘性不足以修复"处理：乘性 β=1–5 全扫，covariation 44.4–46.8，全部 <47（β=0 对照为 47.7），且总分峰值 56.95 低于父节点 57.33 → 判定乘性形式在本数据上不足以修复 covariation，保留加性掩码解码为默认。+1. 扩张后残差 r_pred = resid·(1+scale_t)（iso 模式 scale_t 为单标量）；Σ_pred = r_pred 的 25×25 协方差（样本细胞、居中于 r_pred 均值，+εI，ε=1e-6）；Σ_obs = 该型 last-stage 全部细胞 PC 分数的协方差。+2. Σ_target = (1−w)Σ_pred + wΣ_obs，再乘 tr(Σ_pred)/tr(Σ_target) 保迹（保总展宽 = 保 cell_state 驱动）。+3. T = Σ_target^{1/2}·Σ_pred^{−1/2}（eigh，特征值 clip 下限 ε），r_corr = (T·(r_pred−μ)ᵀ)ᵀ+μ；基因空间增量 d=(r_corr−resid)@Vᵀ，之后与父节点相同的非零掩码 + clip≥0 解码。T 逐型估计、逐细胞作用（取决于细胞相对型心的 PC 位置），非常数位移。+4. w=0 时整块跳过，d 退化为 (resid·scale_t)@Vᵀ，与父节点代数恒等。 -## X3 查分记录（A 半；seed0 除注明外）+**提交默认 β=4（LOWRANK_SHAPE_BETA），w=0.1**。相对 PLAN 的一处偏离：PLAN 的 w 扫描在 β=3 上做、以 cell_state≥77 为硬护栏；实测 β=3 时所有 w>0 都换不回净分（见下），故按 PLAN 风险 4 的思路扩展为 (β,w) 二维小扫描，用 β=4 的 cell_state 余量吸收锚定的展宽损失。 -| 配置 | 总分 | cell_state | covar | de_rec | dir |-|---|---|---|---|---|---|-| β=0 对照（=node 4） | 54.90 | 66.07 | 47.70 | 51.96 | 50.20 |-| 父：aniso-add β=3 | 57.33（s1 57.10） | 75.52 | 45.21 | 52.47 | 50.08 |-| mult aniso β=1/2/3/4/5 | 55.94/56.80/56.95/56.25/54.77 | ≤74.8 | 46.77→41.44 单调降 | | |-| mult iso β=3 / β=4 | 57.41 / 57.31 | 76.18/76.62 | 45.19/44.17 | 51.96 | 50.1 |-| **iso-add β=3（提交）** | **57.67（s1 57.69）** | 76.35 | **45.57** | 52.47 | 50.12 |-| iso-add β=4 | 57.73（s1 57.64） | 77.50 | 44.87 | 51.96 | 50.06 |-| iso-add β=5 / β=8 | 57.53 / 55.58 | | | | |+## X3 查分记录（A 半；组分顺序 cell_state/covar/de_rec/dir） -iso-add β=3 与 β=4 两种子均值打平（57.68 vs 57.685），取 β=3：covariation 更高（45.5 vs 44.7）、离崩塌区（β≥8）更远、两种子都稳定高于父节点（+0.34 / +0.59）。提升幅度在 T1 噪声（约 2 分）之内，不宣称显著；选它的依据是双种子方向一致 + covariation 组分同时改善（与机制假设方向一致）。+| 配置 | seed0 | seed1 | 组分(s0) |+|---|---|---|---|+| 父 β3 w0 | 57.67 | 57.69 | 76.35/45.57/52.47/50.12 |+| β3 w0.05 | 57.40 | – | 75.99/46.11/51.46/50.07 |+| β3 w0.1 | 57.45 | – | 75.97/46.38/51.46/50.09 |+| β3 w0.15 | 57.42 | – | 75.35/46.49/51.96/50.10 |+| β3 w0.2 | 56.99 | – | 73.45/47.21/51.96/50.11 |+| β4 w0.2 | 57.96 | 57.39 | 77.53/46.04/51.96/50.01 |+| β4 w0.3 | 57.58 | – | 75.56/47.05/51.96/50.06 |+| **β4 w0.1（提交）** | **57.82** | **57.72** | 77.68/45.65/51.46/50.08 |+| β4 w0（参考，父 METHOD） | 57.73 | 57.64 | 77.50/44.87/51.96/50.06 | -## 机制生效证据（对照 `LOWRANK_SHAPE_BETA=0`）+β=3 时锚定的净效应为负：covar 随 w 单调升（45.57→47.21），但 cell_state 掉得更快（76.35→73.45），印证 PLAN 风险 1/2（保迹不能护住 mmd_u，旋转后的残差经非零掩码+clip 解码改变了基因空间分布）。β=4 时 w=0.1 把 covar 从 44.87 拉回 45.65/46.15（两种子），cell_state 保持 77.68（s0），两种子总分都比父节点（+0.15/+0.03）和 β4w0（+0.09/+0.08）高。所有差距 <2 分噪声，不宣称显著；选择依据是双种子方向一致 + covar 组分与机制假设同向改善。 -- **对照**：β=0 时 shape_scale_by_type 不构建，输出与本节点任何解码模式无关地精确复现 node 4（本节点 β=0 输出与改码前 β=0 输出 maxdiff=0.0；add 模式 β=3 与父节点输出 maxdiff=9.5e-7，浮点噪声级）。-- **改变了哪些细胞**：5 个可配对类型（AVC-CM、IFT-CM、OFT/RV-CM、SV-CM、Unknown，两阶段各 ≥10 细胞）被形状化，其余类型只做均值位移或不动（LOWRANK_FALLBACK=none，与父一致）。-- **非常数位移**：形状增量 δ = c·((z−型心)·Vᵀ) 逐细胞不同（取决于细胞在 PC 空间偏离型心的位置），同型细胞间 |位移| std >0（父节点已量化为 63–115，iso 版同构）。-- **四组分变化**（β=0→iso-add β=3，seed0 A 半）：cell_state 66.07→76.35（+10.3，分布展宽驱动，mmd_u 0.0222→0.0179）、covariation 47.70→45.57（−2.1，仍受损但比父 aniso 版的 45.21 好 +0.36）、de_recovery 51.96→52.47、direction 50.20→50.12。-- **乘性版的支撑断言**（PLAN 要求）：mult 模式预测的非零位置与输入 last-stage 抽样一致（乘性形式自动成立；代码中 x=0 处 exp 项定义为不作用）。提交版为 add 模式，该断言不适用，最终支撑 = 输入支撑 ∩ {加性 clip 后仍非零}（nnz 1278304 vs 对照 1278260，差 0.003%，来自 clip≥0 边界，与父节点行为相同）。+## 机制生效证据（对照 COVAR_ANCHOR_W=0） -## 结论与如实报告--PLAN 的核心假设（掩码非线性是 covariation 受损主因）**不成立**：乘性解码去掉掩码后 covariation 反而更低（44.39 vs 加性 45.21，β=3 aniso），且随 β 单调恶化与加性同步。covariation 损伤主要来自**展宽本身**（各向异性缩放改变 PC 间方差比例 + 展宽稀释相关结构），与父节点 lessons 第 3 条一致。各向同性化部分验证了"PC 间比例不变则 covariation 损伤更小"：iso-add 比 aniso-add covariation 高 0.36、cell_state 高 0.8、总分高 0.34–0.59（噪声内但方向一致）。+- **对照**：LOWRANK_SHAPE_BETA=3 COVAR_ANCHOR_W=0 的输出与父节点（改动前代码）逐元素 maxdiff=0.0；w=0 时新块完全跳过。+- **改变了哪些细胞**：仅 5 个被形状化型（AVC-CM n=36、IFT-CM n=139、OFT/RV-CM n=114、SV-CM n=67、Unknown n=130，X3 抽样后细胞数）；其余型的均值位移/不动逻辑不变。+- **‖Σ_pred−Σ_obs‖_F 随 w 下降**（w=0→0.05→0.2，IFT-CM：104.58→104.37→103.69；AVC-CM：181.76→181.66→181.41），且 tr(Σ_corr)=tr(Σ_pred) 精确保持（如 664.5565→664.5565）。+- **四组分变化**（β3，w=0→0.2）：covar 45.57→47.21（+1.64，≥1 分，机制对 covariation 有效）；cell_state 76.35→73.45（−2.9）；de_rec 52.47→51.96；dir 50.12→50.11。β4 w0→w0.1：covar +0.78、cell_state +0.18、总分 +0.09。+- 与 node 10 的区别（其全型应用致 cell_state −6.99）：本节点只作用 5 个形状化型、w 更小、显式保迹、无行洗牌。  ## 验证过的 -- vec-check ok；seed0 复跑逐元素一致（maxdiff=0）；默认输出与查分过的 iso-add β=3 文件逐元素一致。-- **伪装视图**（时间统一 +1 天、manifest 键序反转重排版、换路径、external/prior 复制）输出与真实视图逐元素 maxdiff=0.0，支撑一致 → 视图无关（iso 系数只由数据内方差算出，无绝对时间依赖）。-- add 模式 β=3 精确复现父节点（maxdiff 9.5e-7）→ 改动是父节点的严格推广。+- vec-check ok；默认配置输出与查分过的 β4 w0.1 seed0 文件逐元素一致；seed0 重跑确定。+- 伪装视图（时间统一 +1 天、manifest 键序反转、换路径、symlink 拷贝）输出与真实视图 maxdiff=0.0 → 视图无关（w、T、Σ 全部由视图内数据算出，只用时间差）。+- 单输入退路（copy_last）代码未动。  ## 未验证 -- iso-add β=3 的优势在 B 半与 final 视图（s=1.8，扩张更温和，平台位置可能不同）上未验证；两种子 A 半差 +0.34/+0.59 均 <2 分噪声。-- 知识来源：无新增外部生物学知识；全部为父节点数据驱动流程的解码/几何变体。外部数据、prior 未使用。+- β4 w0.1 的 +0.1 级优势在 B 半与 final 视图（s=1.8）未验证；两种子均 <2 分噪声。+- w>0.3、β 与 w 的更细网格未扫（额度/时间限制）。+- 知识来源：无新增外部生物学知识；纯数据驱动几何后处理。external/、prior/ 未使用。diff --git a/solution/README.md b/solution/README.mdindex 663e2b0..ef06e23 100644--- a/solution/README.md+++ b/solution/README.md@@ -1,4 +1,4 @@ # lowrank_shape: per-type PCA mean-shift + variance-ratio shape evolution  See METHOD.md. Entry: `python run.py --data <view> --out <pred.h5ad> --seed <int>` (pure CPU, `EXECUTION.json` gpu=false).-Env knobs (defaults are the submitted config): `LOWRANK_TAU=0.3`, `LOWRANK_ALPHA=1.8`, `LOWRANK_PER_TYPE=1`, `LOWRANK_FALLBACK=none`, `LOWRANK_NHVG=2500`, `LOWRANK_NPC=25`, `LOWRANK_SCAP=4.0`, `LOWRANK_SHAPE_BETA=3.0` (0 = parent node 4 exactly), `LOWRANK_SHAPE_TAU=0.5`, `LOWRANK_SHAPE_CLIP=4.0`, `LOWRANK_SHAPE_RLO=1.0` (expansion-only), `LOWRANK_SHAPE_NPCS=25`, `LOWRANK_SHAPE_MINCELLS=10`.+Env knobs (defaults are the submitted config): `LOWRANK_TAU=0.3`, `LOWRANK_ALPHA=1.8`, `LOWRANK_PER_TYPE=1`, `LOWRANK_FALLBACK=none`, `LOWRANK_NHVG=2500`, `LOWRANK_NPC=25`, `LOWRANK_SCAP=4.0`, `LOWRANK_SHAPE_BETA=4.0` (0 = parent node 4 exactly), `LOWRANK_SHAPE_TAU=0.5`, `LOWRANK_SHAPE_CLIP=4.0`, `LOWRANK_SHAPE_RLO=1.0` (expansion-only), `LOWRANK_SHAPE_NPCS=25`, `LOWRANK_SHAPE_MINCELLS=10`, `COVAR_ANCHOR_W=0.1` (0 = skip covariance-anchoring block entirely; with LOWRANK_SHAPE_BETA=3 reproduces node 7 exactly), `COVAR_ANCHOR_EPS=1e-6`.diff --git a/solution/run.py b/solution/run.pyindex e28243c..276a7d0 100644--- a/solution/run.py+++ b/solution/run.py@@ -70,7 +70,7 @@ def main() -> None:     n_pcs = _env_int("LOWRANK_NPC", 25)     per_type = _env_int("LOWRANK_PER_TYPE", 1)     s_cap = _env_float("LOWRANK_SCAP", 4.0)-    shape_beta = _env_float("LOWRANK_SHAPE_BETA", 3.0)+    shape_beta = _env_float("LOWRANK_SHAPE_BETA", 4.0)     shape_tau = _env_float("LOWRANK_SHAPE_TAU", 0.5)     shape_clip = _env_float("LOWRANK_SHAPE_CLIP", 4.0)     shape_rlo = _env_float("LOWRANK_SHAPE_RLO", 1.0)@@ -79,6 +79,8 @@ def main() -> None:     shape_mode = os.environ.get("LOWRANK_SHAPE_MODE", "add")     shape_iso = _env_int("LOWRANK_SHAPE_ISO", 1)     exp_clip = _env_float("LOWRANK_SHAPE_EXPCLIP", float(np.log(5.0)))+    covar_w = _env_float("COVAR_ANCHOR_W", 0.1)+    covar_eps = _env_float("COVAR_ANCHOR_EPS", 1e-6)      manifest = load_manifest(args.data)     genes = panel_genes(args.data, manifest)@@ -144,6 +146,7 @@ def main() -> None:         if shape_beta > 0.0:             shape_scale_by_type = {}         debug_rows = []+        cov_dbg = []         for t in sorted(set(lab_prev.tolist()) & set(lab_last.tolist())):             m1 = lab_prev == t             m2 = lab_last == t@@ -189,8 +192,41 @@ def main() -> None:             sh_t = sh_t64.astype(np.float32)             if shape_scale_by_type is not None and t in shape_scale_by_type:                 scale_t = shape_scale_by_type[t]-                resid = Z_last[rows[sel]] - Z_last[lab_last == t].mean(axis=0)  # n_t x k-                d_gene = (resid * scale_t[None, :]) @ Vt  # n_t x hvg+                m2t = lab_last == t+                resid = Z_last[rows[sel]] - Z_last[m2t].mean(axis=0)  # n_t x k+                r_pred = resid * (1.0 + scale_t[None, :])+                if covar_w > 0.0:+                    Zo_c = Z_last[m2t]+                    Zo_c = Zo_c - Zo_c.mean(axis=0)+                    S_obs = (Zo_c.T @ Zo_c) / max(Zo_c.shape[0] - 1, 1)+                    S_obs = 0.5 * (S_obs + S_obs.T)+                    mu_p = r_pred.mean(axis=0)+                    Rp = r_pred - mu_p+                    kk = Rp.shape[1]+                    S_pred = (Rp.T @ Rp) / max(Rp.shape[0] - 1, 1)+                    S_pred = 0.5 * (S_pred + S_pred.T) + covar_eps * np.eye(kk)+                    S_mix = (1.0 - covar_w) * S_pred + covar_w * S_obs+                    tr_p = float(np.trace(S_pred))+                    tr_m = float(np.trace(S_mix))+                    if tr_m > 0.0:+                        S_mix = S_mix * (tr_p / tr_m)+                    ew_p, Q_p = np.linalg.eigh(S_pred)+                    ew_p = np.clip(ew_p, covar_eps, None)+                    ew_m, Q_m = np.linalg.eigh(S_mix)+                    ew_m = np.clip(ew_m, 0.0, None)+                    Tm = (Q_m * np.sqrt(ew_m)) @ (Q_p * (1.0 / np.sqrt(ew_p))).T+                    Rp_c = Rp @ Tm.T+                    d_gene = (Rp_c + mu_p - resid) @ Vt  # n_t x hvg+                    if os.environ.get("LOWRANK_DEBUG"):+                        S_corr = (Rp_c.T @ Rp_c) / max(Rp_c.shape[0] - 1, 1)+                        cov_dbg.append((+                            t, int(Rp.shape[0]),+                            float(np.linalg.norm(S_pred - S_obs, "fro")),+                            float(np.linalg.norm(S_corr - S_obs, "fro")),+                            tr_p, float(np.trace(S_corr)),+                        ))+                else:+                    d_gene = (r_pred - resid) @ Vt  # n_t x hvg = (resid*scale_t)@Vt                 add_h = (sh_t - base).astype(np.float64)                 sub = Xc[sel]                 row_ids = np.repeat(np.arange(sub.shape[0]), np.diff(sub.indptr))@@ -235,6 +271,11 @@ def main() -> None:             for t, n1t, n2t, mrl, smin, smax in debug_rows:                 print(f"  type={t} n_prev={n1t} n_last={n2t} mean|r-1|={mrl:.3f} "                       f"sqrt(r_t)=[{smin:.3f},{smax:.3f}]")+        if cov_dbg:+            print(f"covar_w={covar_w} eps={covar_eps}")+            for t, nt, f_before, f_after, tr_p, tr_c in cov_dbg:+                print(f"  type={t} n={nt} |dS|_F {f_before:.4f}->{f_after:.4f} "+                      f"tr {tr_p:.4f}->{tr_c:.4f}")   if __name__ == "__main__":

调研来源?调研员查到并用到的知识条目和文献检索结果（只列标题和编号）。

用到的知识库条目

分析结果?分析员写的 ANALYSIS.json：改了什么、各组分数怎么变、假设是否成立、经验和下一步建议。

对话摘要?每个角色和大模型对话的统计：轮数、工具调用、用时、token 数和最后的回答摘录；原始记录只给路径。

只给统计和最后回答的摘录；完整对话请到原始记录位置里列出的文件看。

分析员

ANALYSIS.json written

工程师

完成。

**做了什么**：按 PLAN 在 node 7 基础上实现了 PC 空间迹保持白化-再着色协方差锚定（仅 5 个形状化型，`COVAR_ANCHOR_W` 开关，w=0 时逐元素复现父节点 maxdiff=0）。β=3 下扫 w∈{0.05,0.1,0.15,0.2}：covar 单调升（45.57→47.21）但 cell_state 掉更快（76.35→73.45），净分为负——PLAN 风险 1 应验；改为 (β,w) 二维小扫，β=4+w=0.1 在两种子上都优于父节点（57.82/57.72 vs 57.67/57.69，A 半）且 covar 恢复 +0.8，作为提交默认（差距均 <2 分噪声，如实记录）。伪装视图（时间+1 天、manifest 键序反转）maxdiff=0，vec-check ok，重跑确定。

**查分**：13/20 次。最佳 β4 w0.1 = 57.82 (s0) / 57.72 (s1)。

**下一步值得试**：direction 组仍停在 ~50（β4w0.1 s1 曾见 51.87，或与 Unknown 型兜底位移有关）；以及把锚定与 β 联合在 final 类 s=1.8 视图上复核平台位置。

调研员

ect cell_state if the correction changes higher-order structure; monitor mmd_u directly. 3) 25×25 eigendecomposition is trivial computationally, no runtime risk. 4) If all w values give cell_state <77, the mechanism is fundamentally incompatible with the expansion and Engineer should report w=0 (parent) as best, documenting the tradeoff frontier.",
  "family_id": "lowrank_shape",
  "mechanism": "After isotropic PC-residual expansion, apply a trace-preserving whitening-recoloring transform T=(Σ_target^{1/2}·Σ_pred^{−1/2}) to shaped-type residuals in PC space, where Σ_target is a small-w convex mix of predicted and observed within-type covariance, correcting the correlation distortion introduced by expansion + non-zero-mask clipping.",
  "vs_constant_shift": "The correction is type-specific and cell-specific: T is estimated per shaped type from its own predicted vs observed covariance, and each cell's correction depends on its PC-space residual direction. A constant shift would move all cells of a type identically; this transform rotates and rescales residuals differently depending on each cell's position relative to the type centroid.",
  "mechanism_evidence": "1) w=0 must reproduce node 7 output exactly (maxdiff=0). 2) Report per-shaped-type Frobenius norm ‖Σ_pred − Σ_obs‖_F before and after correction, showing it decreases with w. 3) Report cell_state, covariation, de_recovery, direction separately for each w. 4) Count and report which types are shaped (should be ~5). 5) Verify trace(Σ_corrected) ≈ trace(Σ_pred) to confirm spread preservation. 6) Compare covariation at w=0 vs best-w: if covariation does not increase by ≥1 point, mechanism is not effective.",
  "mechanism_off_control": "Set COVAR_ANCHOR_W=0 (environment variable). The correction block is skipped entirely, and output must be element-wise identical to node 7 (maxdiff=0.0). Expected difference at w>0: covariation increases by 1-4 points, cell_state stays within 1 point of 78.93.",
  "sources": []
}
```