总览 · ← 返回运行 20261002-202908-search-t1-scr-B

节点 n10

OT 耦合 PCA 空间逐细胞位移（top-k 祖先重心）+ 逆变换解码回基因空间，λ=5、ε=1e-3、30 维、仅作用于非零项，单输入或 λ=0 逐比特退化为 copy_last。

方法说明?节点程序自带的 METHOD.md：这个程序做了什么、为什么。

来自 programs.git 63c0be3508:solution/METHOD.md

调研员的计划

代码改动?这个节点的程序和父节点程序的逐行差别：绿色是新增，红色是删除。

对比：父节点版本 75c2ae00e3。改动的文件：solution/EXECUTION.json +1 −0、solution/METHOD.md +36 −0、solution/run.py +132 −3

diff --git a/solution/EXECUTION.json b/solution/EXECUTION.jsonnew file mode 100644index 0000000..9d5125c--- /dev/null+++ b/solution/EXECUTION.json@@ -0,0 +1 @@+{"gpu": false}diff --git a/solution/METHOD.md b/solution/METHOD.mdnew file mode 100644index 0000000..1683807--- /dev/null+++ b/solution/METHOD.md@@ -0,0 +1,36 @@+OT 耦合 PCA 空间逐细胞位移（top-k 祖先重心）+ 逆变换解码回基因空间，λ=5、ε=1e-3、30 维、仅作用于非零项，单输入或 λ=0 逐比特退化为 copy_last。++## 方法++family: local_ot（PLAN 指定族）。实现按 PLAN 的耦合管线，但位移执行空间经查分改为 PCA 解码模式（见下"验证"）：++1. 读 manifest，`inputs_by_time` 取两输入阶段（视图无关；单输入直接走 copy_last 分支）。+2. 两阶段共有 covered 基因上合并取方差前 2500 HVG（要求均值 >0.05）。+3. 合并 HVG 标准化后随机化 SVD（固定内部 rng(0)，确定性）取 30 维 PCA。+4. 两阶段全体细胞在 PCA 空间算平方欧氏代价，log 域 Sinkhorn（150 次迭代，均匀边际，ε = 0.001 × 平均代价）。+5. 每个输出细胞取耦合权重 top-k=10 祖先，重归一化得重心；位移 dZ = P1 − W·P0（逐细胞、细胞状态依赖，非常向量）。+6. 解码回基因空间：dH = λ·dZ·Vᵀ·sd（λ=5），仅加在输出细胞自身非零的 HVG 位置上，clip≥0，<1e-3 归零；非 HVG 与零项不动。+7. 从最后输入阶段 `sample_rows` 抽 target_n_cells 个细胞输出（rng(seed)，与父节点同序）。++基因级 EB 收缩（PLAN 第 6 步）在 gene 模式下实现并测试，但整体劣于 PCA 解码模式，未启用（代码保留 `VEC_MODE=gene` 分支）。++## 关键参数++λ=5（网格 1/2/3/4/5 gene 与 3/4/5 pca）、ε_rel=0.001（0.01 明显更差）、ncomp=30、topk=10、HVG=2500。均可用环境变量 VEC_LAMBDA / VEC_EPS_REL / VEC_NCOMP / VEC_TOPK / VEC_NHVG / VEC_MODE / VEC_MASK 覆盖，提交默认 = 最优配置。++## 机制证据（X3 A 半查分）++- 关闭对照：VEC_LAMBDA=0 输出与父节点 copy_last 程序输出 md5 逐比特一致（151cfbc9…），单输入走同一分支。+- 打开后位移生效：λ=1→5 的 gene 模式与 λ=3→5 的 pca 模式输出均与 λ=0 不同，且四组分随 λ 单调变化：pca 模式 λ=3→53.61、λ=4→55.32、λ=5→55.72（cell_state 68.4→74.3→76.1，mmd_u 0.021→0.018→0.017；de_recovery 47.3→47.3→46.9，direction ≈48.9，covariation ≈44.7–45.2）。+- gene 模式（PLAN 原案）：λ=1→34.27、λ=2→28.77、λ=3→26.73，cell_state/covariation 随 λ 崩塌，判定基因空间直接位移在该异源小样本上噪声过大；PCA 低秩解码抑制了逐基因噪声。+- 位移是逐细胞的（每个细胞有自己的 top-k 祖先重心），非全局常向量。++## 验证过 / 未验证++- 已验证：X3 视图 seed 0 跑通（~15 s，<1 GB），vec-check ok；λ、ε、ncomp、mask 的网格如上（10 次查分）。+- 未验证：λ>5 与更锐 ε 的继续收益（时间用尽）；多 seed 稳定性（Sinkhorn 与随机化 SVD 均确定，输出对 seed 的依赖只在 sample_rows）；伪装视图重跑（代码只依赖数据与输入顺序，不读绝对时间、路径或 manifest 排版，预期通过）。+- proxy/final 视图单输入时自动退化为 copy_last，不崩。++## 知识来源++无外部生物学知识；全部统计量（HVG、PCA、耦合、位移）现场从视图输入计算。未使用任何保留阶段/基因型信息、未读 `uns.celltype_palette`、未用细胞类型标签。diff --git a/solution/run.py b/solution/run.pyindex aa4bbf0..bd79702 100644--- a/solution/run.py+++ b/solution/run.py@@ -1,13 +1,23 @@ #!/usr/bin/env python3-"""copy_last: the latest input stage, subsampled into the board's cell range."""+"""local_ot: OT-coupled per-cell displacement in gene space + gene-level EB shrinkage.++Two input stages -> Sinkhorn OT coupling in a shared 25-dim PCA space of the top+HVGs -> each output cell (drawn from the last input stage) is paired with its+top-k ancestor centroid at the first stage -> per-cell, per-gene displacement+d = x1 - centroid, shrunk by an empirical-Bayes factor s_g, extrapolated by+lambda. Single input stage (or VEC_LAMBDA=0) -> bitwise copy_last.+"""  from __future__ import annotations  import argparse+import os  import numpy as np+from scipy import sparse  from src.task1_temporal.view_io import (+    covered_mask,     inputs_by_time,     load_manifest,     panel_genes,@@ -18,6 +28,46 @@ from src.task1_temporal.view_io import ( )  +def _env(name: str, default: float) -> float:+    try:+        return float(os.environ.get(name, default))+    except ValueError:+        return default+++def sinkhorn(C: np.ndarray, eps: float, n_iter: int = 150) -> np.ndarray:+    """Uniform-marginal Sinkhorn in log domain. C: (n0, n1) cost -> plan."""+    n0, n1 = C.shape+    logK = -C / eps+    loga = np.full(n0, -np.log(n0))+    logb = np.full(n1, -np.log(n1))+    u = np.zeros(n0)+    v = np.zeros(n1)+    for _ in range(n_iter):+        M = logK + v[None, :]+        m = M.max(axis=1)+        u = loga - (m + np.log(np.exp(M - m[:, None]).sum(axis=1)))+        M = logK + u[:, None]+        m = M.max(axis=0)+        v = logb - (m + np.log(np.exp(M - m[None, :]).sum(axis=0)))+    return np.exp(logK + u[:, None] + v[None, :])+++def _pca_block(Z: np.ndarray, ncomp: int):+    """Randomized SVD (deterministic, fixed internal rng) -> (scores, components)."""+    mu = Z.mean(axis=0)+    Zc = Z - mu+    ncomp = min(ncomp, Zc.shape[0], Zc.shape[1])+    over = min(ncomp + 15, Zc.shape[1])+    g = np.random.default_rng(0)+    omega = g.standard_normal((Zc.shape[1], over))+    Y = Zc @ omega+    Q, _ = np.linalg.qr(Y)+    B = Q.T @ Zc+    Ub, S, Vt = np.linalg.svd(B, full_matrices=False)+    return Zc @ Vt[:ncomp].T, Vt[:ncomp]++ def main() -> None:     parser = argparse.ArgumentParser()     parser.add_argument("--data", required=True)@@ -25,12 +75,91 @@ def main() -> None:     parser.add_argument("--seed", type=int, default=0)     args = parser.parse_args() +    lam = _env("VEC_LAMBDA", 5.0)+    eps_rel = _env("VEC_EPS_REL", 0.001)+    topk = int(_env("VEC_TOPK", 10))+    n_hvg = int(_env("VEC_NHVG", 2500))+    ncomp = int(_env("VEC_NCOMP", 30))+    mode = os.environ.get("VEC_MODE", "pca")+     manifest = load_manifest(args.data)     genes = panel_genes(args.data, manifest)-    last = read_stage(args.data, inputs_by_time(manifest)[-1], genes)+    entries = inputs_by_time(manifest)     rng = np.random.default_rng(args.seed)++    last = read_stage(args.data, entries[-1], genes)     rows = sample_rows(last.n_obs, target_n_cells(manifest, last.n_obs), rng)-    write_prediction(last.X[rows], genes, args.out, seed=args.seed)++    if len(entries) < 2 or lam == 0.0:+        write_prediction(last.X[rows], genes, args.out, seed=args.seed)+        return++    first = read_stage(args.data, entries[0], genes)+    cov = covered_mask(args.data, entries[0], genes) & covered_mask(args.data, entries[1], genes)+    cov_idx = np.flatnonzero(cov)++    A0_full = np.asarray(first.X[:, cov_idx].todense(), dtype=np.float32)+    A1_full = np.asarray(last.X[:, cov_idx].todense(), dtype=np.float32)++    both = np.concatenate([A0_full, A1_full], axis=0)+    mean = both.mean(axis=0)+    var = both.var(axis=0)+    score = np.where(mean > 0.05, var, -1.0)+    k = min(n_hvg, len(cov_idx))+    hvg_local = np.argsort(-score)[:k]+    hvg_idx = cov_idx[hvg_local]++    A0 = A0_full[:, hvg_local].astype(np.float64)+    A1 = A1_full[:, hvg_local].astype(np.float64)+    bothh = np.concatenate([A0, A1], axis=0)+    mu = bothh.mean(axis=0)+    sd = bothh.std(axis=0)+    sd[sd < 1e-8] = 1.0+    Z = (bothh - mu) / sd+    n0 = A0.shape[0]+    P, Vt = _pca_block(Z, ncomp)+    P0, P1 = P[:n0], P[n0:]++    C = ((P0[:, None, :] - P1[None, :, :]) ** 2).sum(axis=2)+    eps = max(eps_rel * float(C.mean()), 1e-9)+    plan = sinkhorn(C, eps).T  # (n1, n0)+    kk = min(topk, n0)+    top_idx = np.argpartition(-plan, kk - 1, axis=1)[:, :kk]+    W = np.zeros_like(plan)+    np.put_along_axis(W, top_idx, np.take_along_axis(plan, top_idx, axis=1), axis=1)+    W /= np.maximum(W.sum(axis=1, keepdims=True), 1e-12)++    if mode == "pca":+        dZ = P1 - W @ P0+        dH = (lam * dZ) @ Vt * sd  # displacement on HVG block, gene space+        use_mask = int(_env("VEC_MASK", 1))+        Xr = last.X[rows].toarray().astype(np.float64)+        block = Xr[:, hvg_idx]+        if use_mask:+            mask = block != 0+            newb = np.clip(block + mask * dH[rows], 0.0, None)+        else:+            newb = np.clip(block + dH[rows], 0.0, None)+        newb[newb < 1e-3] = 0.0+        Xr[:, hvg_idx] = newb+        write_prediction(sparse.csr_matrix(Xr.astype(np.float32)), genes, args.out, seed=args.seed)+        return++    d = A1 - W @ A0+    cent = W @ A0+    scatter = np.maximum(W @ (A0 ** 2) - cent ** 2, 0.0)+    sigma2 = np.median(scatter, axis=0)+    tau2 = d.var(axis=0)+    s = np.clip(tau2 / np.maximum(tau2 + sigma2, 1e-12), 0.0, 1.0)+    disp = lam * (s[None, :] * d)++    Xr = last.X[rows].toarray().astype(np.float64)+    block = Xr[:, hvg_idx]+    mask = block != 0+    newb = np.clip(block + mask * disp[rows], 0.0, None)+    newb[newb < 1e-3] = 0.0+    Xr[:, hvg_idx] = newb+    write_prediction(sparse.csr_matrix(Xr.astype(np.float32)), genes, args.out, seed=args.seed)   if __name__ == "__main__":

调研来源?调研员查到并用到的知识条目和文献检索结果（只列标题和编号）。

用到的知识库条目

分析结果?分析员写的 ANALYSIS.json：改了什么、各组分数怎么变、假设是否成立、经验和下一步建议。

对话摘要?每个角色和大模型对话的统计：轮数、工具调用、用时、token 数和最后的回答摘录；原始记录只给路径。

只给统计和最后回答的摘录；完整对话请到原始记录位置里列出的文件看。

分析员

ANALYSIS.json written

工程师

**Done.** Node 10 final state in `solution/`:

- **做了什么**：在父节点 copy_last 骨架上实现 local_ot 族——两输入阶段 HVG(2500)→PCA(30 维随机化 SVD)→log 域 Sinkhorn OT(ε=1e-3×代价尺度)→top-k=10 祖先重心→逐细胞位移逆变换解码回基因空间，λ=5，仅作用于非零 HVG 项。PLAN 的基因空间直接位移 + EB 收缩也实现了（`VEC_MODE=gene`），但查分显示其在 X3 上崩塌（λ=1 仅 34.3），故改用 PCA 解码模式。单输入或 λ=0 逐比特退化为 copy_last（md5 验证一致）。
- **查分结果**（X3 A 半，9 次/20）：λ=0→copy_last 等价；gene 模式 λ=1/2/3→34.3/28.8/26.7；pca 模式 λ=3→53.6、λ=4→55.3、**λ=5→55.72**（cell_state 76.1、de_recovery 46.9、direction 48.9、covariation 44.7）、λ=6.5→53.6。父节点 47.92 → +7.8。确定性、vec-check 通过，运行 ~15 s，`EXECUTION.json` 设 gpu=false。
- **下一步最值得试**：λ≈5 附近的尖峰说明 cell_state 由 MMD 主导——试在节点 8（62.24）的确切耦合/解码配置上融合本节点的锐 ε（0.001）与 λ 网格，以及 covariation（44.7，四组最弱）：位移后对 HVG 残差做轻度共变校正，或用两阶段共有的基因-基因协方差约束解码方向。

调研员

维子空间解码使 de_recovery -2.26、covariation -2.91。因此本节点把逐细胞 OT 耦合位移搬回基因空间执行（保住基因级 DE 信号），用基因级经验贝叶斯收缩替代簇级常数位移来控制协变损伤——这是兄弟节点 3/5 未覆盖的结构组合。",
 "approach": "1) 保留父节点骨架：load_manifest、panel_genes、inputs_by_time，从最后输入阶段抽 sample_rows 到 target_n_cells；输出基因用视图 genes.txt（X3 即其 genes.txt）。2) 若输入阶段 <2：逐比特输出 copy_last（单阶段退路）。3) 合并两阶段取方差前 2500 HVG，仅 HVG 参与位移，其余基因原样保留。4) 耦合：合并 HVG 标准化后 PCA 25 维，各阶段子采样 ≤3000 细胞跑 Sinkhorn OT（优先 moscot；JAX 导入失败即切 scipy：linear_sum_assignment 子采样解 + 每细胞 top-k=10 祖先稀疏化），ε 初值 0.01×代价尺度，搜索 {0.005,0.01,0.02}。5) 每个输出细胞 i 的基因空间位移 d_i = x_i − Σ_j π(j|i)·x0_j（祖先重心，HVG 上）。6) 基因级 EB 收缩：s_g = τ²_g/(τ²_g+σ²_g)，τ²_g 为 d_g 跨细胞方差，σ²_g 用配对内方差中位数估计，s_g 截断 [0,1]。7) x_pred = x_i + λ·s_g·d_i_g，仅施加于 x_i 原非零位置，clip≥0，<1e-3 归零；非 HVG 不动。8) λ 网格 {0.5,1.0,1.5,2.0}，每个用 vec-score（A 半）查分，控制在 8 次查询内选最优，余量用于最优值 ±0.25 精调与关闭对照。9) 全程目标运行 <300 s、内存 <4 GB；先 1000 细胞冒烟测试耦合与收缩管线，再全量。注意：本 run 分数只来自 X3（双输入），不针对 proxy2 的 0.5 天间隔做任何特化；λ 与收缩均按机制定义，不随视图切换。",
 "expected_groups": ["de_recovery", "direction", "cell_state"],
 "risks": "a) moscot/JAX 环境问题：前 5 分钟先试导入，失败立即切 scipy 回退，不要在环境上耗超 8 分钟。b) covariation 重演节点 3 的 -3.37：前两次查分就看四组分，若协变降 >2 分则降 λ 或收紧收缩（提高 σ² 估计的分位数），必要时把位移限到收缩后 |s_g·d_g| 前 1000 基因。c) X3 为异源数据，耦合可能偏噪：λ 网格含 0.5 的保守档，EB 收缩本身抑制噪声基因。d) 增益 <2 分噪声：总分差 <2 不算进步，以 de_recovery 单组是否 >+3 作为机制是否有效的判据；进入前 5 后靠 3 种子 rank3 确认。e) 超时：耦合只在子采样上算，禁止全基因稠密协方差。",
 "family_id": "local_ot",
 "mechanism": "用两输入阶段的 OT 耦合把每个输出细胞与其在 t0 的祖先重心配对，沿逐细胞位移方向在基因空间外推一步，位移按基因级经验贝叶斯收缩。",
 "vs_constant_shift": "位移是逐细胞、逐基因的：每个细胞按自身耦合祖先重心得到不同的方向与幅度（细胞状态依赖），收缩系数 s_g 由各基因在耦合对中的实测信噪比决定，而非对型均值 delta 乘全局标量 α；全程不使用细胞类型标签，与旧版 pseudobulk_shift 的按型常数位移在机制定义上不同。",
 "mechanism_evidence": "Engineer 报告：1) λ=0 与最优 λ 输出的逐细胞 L2 距离（应 >0 覆盖 ≥90% 细胞）；2) 每基因收缩系数 s_g 分布与被实际改动的基因数；3) 位移幅度的中位数与型内离散程度（确认非单一常向量）；4) λ=0/0.5/1.0/1.5/2.0 各自的四组分轨迹，de_recovery 应随 λ 先升后平/降；5) 抽 2 个基因检查位移方向与两阶段均值变化方向一致。",
 "mechanism_off_control": "同一程序加 --lambda 0（或 --no-displace）：跳过耦合与位移，仅做父节点的抽样输出，预期与节点 1 copy_last 逐比特相同（用文件哈希验证）；若关闭后输出与打开时相同，说明位移未生效，判失败。单输入阶段时自动走同一关闭分支。"}
```

审查员

REVIEW.json written