总览 · ← 返回运行 20261002-202907-search-t1-scr-A

节点 n4 在终选来历上

按细胞型在 PCA(25维,2500HVG) 空间估计两输入阶段均值差，方差收缩后乘时间比逐细胞加到最后阶段非零表达上（clip≥0）；单输入退路 copy_last。

方法说明?节点程序自带的 METHOD.md：这个程序做了什么、为什么。

来自 programs.git 52b391699b:solution/METHOD.md

调研员的计划

代码改动?这个节点的程序和父节点程序的逐行差别：绿色是新增，红色是删除。

对比：父节点版本 dec5d69d39。改动的文件：solution/EXECUTION.json +1 −0、solution/METHOD.md +48 −0、solution/README.md +3 −3、solution/run.py +131 −3

diff --git a/solution/EXECUTION.json b/solution/EXECUTION.jsonnew file mode 100644index 0000000..9d5125c--- /dev/null+++ b/solution/EXECUTION.json@@ -0,0 +1 @@+{"gpu": false}diff --git a/solution/METHOD.md b/solution/METHOD.mdnew file mode 100644index 0000000..9a1de51--- /dev/null+++ b/solution/METHOD.md@@ -0,0 +1,48 @@+按细胞型在 PCA(25维,2500HVG) 空间估计两输入阶段均值差，方差收缩后乘时间比逐细胞加到最后阶段非零表达上（clip≥0）；单输入退路 copy_last。++## 方法++- 读最后两个输入阶段（`read_stage` 默认 fill），取两阶段共同覆盖基因，按合并方差选前 2500 HVG。+- 合并矩阵中心化后 `scipy.sparse.linalg.svds`（固定 v0=ones，确定性）取前 25 个 PC，λ_k = var_k/(var_k+τ)，τ=0.3（环境变量 `LOWRANK_TAU`）。+- 位移幅度 s = α·(t_target − t_last)/(t_last − t_prev)，α=1.8，clip 到 [0,4]。只用时间差，不用绝对时间；X3 上 dt_in=0.25、dt_out=0.5 → s=3.6。+- **按细胞型位移**（默认开，`LOWRANK_PER_TYPE=1`）：对两个阶段都有 ≥5 个细胞的同名类型，分别在该类型内部计算 PC 空间均值差，逆变换回基因空间，只加到该类型的细胞上；`Unknown` / 无法配对的类型不位移（`LOWRANK_FALLBACK=none`，实测优于用全局差兜底）。这一步是关键：全局均值差被细胞组成变化污染，直接加会把 de_direction 打成负分。+- 位移只加到已有非零元素上（保持稀疏支撑不变），clip≥0 后 eliminate_zeros。早期版本把 HVG 列写满成稠密块，covariation 从 48 掉到 27，已弃用。+- 单输入阶段视图：精确输出 copy_last（与父节点一致）。++## 机制关闭对照（mechanism_off_control）++`LOWRANK_TAU=1e6` → 所有 λ_k≈0 → 位移≈0。本地对比关闭版与父节点 copy_last 预测：最大绝对差 3e-4（float32 舍入），等价于 copy_last（父节点 X3 = 47.92）。机制开启后 X3 seed0 = 54.90，机制确实生效：2331 个 HVG |位移|>0.01，shift 最大 1.1（log 空间），cell_state 49.7→66.1、de_recovery 44.1→52.0。++## X3 查分记录（A 半）++| 配置 | 分 | cell_state | covar | de_rec | dir |+|---|---|---|---|---|---|+| 父 copy_last | 47.92 | 49.68 | 48.44 | 44.09 | 49.20 |+| 全局位移 τ=1（稠密块） | 41.62 | 42.95 | 27.65 | 43.80 | 49.02 |+| 全局位移 τ=1（保稀疏） | 46.83 | 47.04 | 47.66 | 43.80 | 48.94 |+| 分型位移均值合并 τ=1 | 47.37 | 44.33 | 47.72 | 48.62 | 49.50 |+| 分型逐细胞 fb=global τ=1 | 52.33 | 58.79 | 48.25 | 50.48 | 49.71 |+| 分型逐细胞 fb=none τ=1 | 52.82 | 59.67 | 48.52 | 50.96 | 49.88 |+| τ=0.3 / 0.1 | 52.92 / 52.95 | | | | |+| τ=3 / 10 | 52.31 / 51.64 | | | | |+| α=1.4 / 0.7 | 54.24 / 51.69 | | | | |+| **α=1.8 τ=0.3（提交）** | **54.90**（seed0）/ 55.44（seed1） | 66.1 | 47.7 | 52.0 | 50.2 |+| α=2.2 τ=0.3 | 54.94 | 66.8 | 47.4 | 51.5 | 50.3 |++α 曲线在 1.8–2.2 变平（s 达到 cap=4 附近），covariation 随 α 缓慢下降（48.5→47.4），α=1.8 取平衡点。++## 验证过的++- vec-check ok；seed 0/1 各自复跑逐元素一致（确定性）；伪装视图（时间 +1、manifest 键乱序、换路径）输出与真实视图逐元素相同（max diff 0.0）→ 视图无关。+- 单输入视图（本地构造）退路正常，输出 652×32285。+- 运行 ~5 s、峰值内存 <2 GB，远低于 limits。++## 没验证的++- 未在 T1 proxy / proxy2 / final 视图上跑（本节点只挂 X3 视图）；final 视图 dt_in=1、dt_out=1 → s=1.8，机制同样成立，但分数未实测。+- α=1.8 是 X3 A 半上调出的，B 半与 final 上幅度可能不同；α 平坦区宽（1.4–2.2 都 >54），风险有限。+- 分型位移依赖两阶段标签可配对；若某视图标签大量为 Unknown，则多数细胞不位移，退化接近 copy_last（安全侧）。++## 知识来源++未使用任何保留阶段/基因型的测量信息；未读 E9.5 之后的数据；未用 `uns.celltype_palette`。只用了 view 内输入阶段的表达与标签、时间差，以及通用做法（PCA/收缩估计为统计常识，无生物学先验注入）。diff --git a/solution/README.md b/solution/README.mdindex e6cdf6f..d9b8d84 100644--- a/solution/README.md+++ b/solution/README.md@@ -1,4 +1,4 @@-# copy_last+# lowrank_shape: per-celltype PCA low-rank shrunken mean-shift extrapolation -输出最新一个输入阶段（proxy：E8.5；final：E9.5），随机无放回抽到榜的细胞上限（T1 5118）。-不改表达，不改组成。这是地板：proxy 预期 ≈ 50（seed 0 实测 49.77；抽到 5118 个细胞，比整份 E8.5 的 50.00 略低）。+See METHOD.md. Entry: `python run.py --data <view> --out <pred.h5ad> --seed <int>` (pure CPU, `EXECUTION.json` gpu=false).+Env knobs (defaults are the submitted config): `LOWRANK_TAU=0.3`, `LOWRANK_ALPHA=1.8`, `LOWRANK_PER_TYPE=1`, `LOWRANK_FALLBACK=none`, `LOWRANK_NHVG=2500`, `LOWRANK_NPC=25`, `LOWRANK_SCAP=4.0`.diff --git a/solution/run.py b/solution/run.pyindex aa4bbf0..28c3a06 100644--- a/solution/run.py+++ b/solution/run.py@@ -1,13 +1,25 @@ #!/usr/bin/env python3-"""copy_last: the latest input stage, subsampled into the board's cell range."""+"""PCA low-rank shrunken mean-shift extrapolation over copy_last.++Estimate the temporal delta between the last two input stages in a low-rank+PCA space (top HVGs), shrink each PC direction by lambda_k = var_k / (var_k + tau)+so low-variance noise directions are suppressed, scale by the relative time gap+(target - last) / (last - prev), and add the resulting gene-space shift to the+sampled last-stage cells (clipped at >= 0). Single-input views fall back to+copy_last exactly.+"""  from __future__ import annotations  import argparse+import os  import numpy as np+import scipy.sparse as sp  from src.task1_temporal.view_io import (+    covered_mask,+    labels_of,     inputs_by_time,     load_manifest,     panel_genes,@@ -18,6 +30,20 @@ from src.task1_temporal.view_io import ( )  +def _env_float(name: str, default: float) -> float:+    v = os.environ.get(name)+    return float(v) if v not in (None, "") else default+++def _env_int(name: str, default: int) -> int:+    v = os.environ.get(name)+    return int(v) if v not in (None, "") else default+++def _dense(m) -> np.ndarray:+    return np.asarray(m.todense(), dtype=np.float32) if sp.issparse(m) else np.asarray(m, dtype=np.float32)++ def main() -> None:     parser = argparse.ArgumentParser()     parser.add_argument("--data", required=True)@@ -25,12 +51,114 @@ def main() -> None:     parser.add_argument("--seed", type=int, default=0)     args = parser.parse_args() +    tau = _env_float("LOWRANK_TAU", 0.3)+    n_hvg = _env_int("LOWRANK_NHVG", 2500)+    n_pcs = _env_int("LOWRANK_NPC", 25)+    per_type = _env_int("LOWRANK_PER_TYPE", 1)+    s_cap = _env_float("LOWRANK_SCAP", 4.0)+     manifest = load_manifest(args.data)     genes = panel_genes(args.data, manifest)-    last = read_stage(args.data, inputs_by_time(manifest)[-1], genes)+    inputs = inputs_by_time(manifest)+    last_entry = inputs[-1]+    last = read_stage(args.data, last_entry, genes)+     rng = np.random.default_rng(args.seed)     rows = sample_rows(last.n_obs, target_n_cells(manifest, last.n_obs), rng)-    write_prediction(last.X[rows], genes, args.out, seed=args.seed)+    X_last = last.X[rows]++    if len(inputs) < 2:+        write_prediction(X_last, genes, args.out, seed=args.seed)+        return++    prev_entry = inputs[-2]+    prev = read_stage(args.data, prev_entry, genes)++    dt_in = float(last_entry["time"]) - float(prev_entry["time"])+    dt_out = float(manifest["target"]["time"]) - float(last_entry["time"])+    s = float(dt_out) / float(dt_in) if dt_in > 0 else 0.0+    alpha = _env_float("LOWRANK_ALPHA", 1.8)+    s = float(np.clip(s * alpha, 0.0, s_cap))++    cov = covered_mask(args.data, last_entry, genes) & covered_mask(args.data, prev_entry, genes)+    A_prev = _dense(prev.X)+    A_last = _dense(last.X)+    comb = np.concatenate([A_prev, A_last], axis=0)+    var = comb.var(axis=0)+    cand = np.flatnonzero(cov)+    n_hvg = min(n_hvg, cand.size)+    hvg = cand[np.argsort(-var[cand], kind="stable")[:n_hvg]]+    hvg = np.sort(hvg)++    C = comb[:, hvg].astype(np.float64)+    mean_h = C.mean(axis=0)+    Cc = C - mean_h+    n_tot = Cc.shape[0]+    k = int(min(n_pcs, Cc.shape[0] - 1, Cc.shape[1] - 1))+    from scipy.sparse.linalg import svds++    v0 = np.ones(min(Cc.shape), dtype=np.float64)+    U, S, Vt = svds(Cc, k=k, v0=v0)+    order = np.argsort(-S, kind="stable")+    S = S[order]+    Vt = Vt[order]+    V = Vt.T  # hvg x k+    var_k = (S**2) / max(n_tot - 1, 1)+    lam = var_k / (var_k + tau)++    n1 = A_prev.shape[0]+    Z = Cc @ V  # n_tot x k scores+    delta_global = Z[n1:].mean(axis=0) - Z[:n1].mean(axis=0)+    shift_by_type: dict[str, np.ndarray] | None = None+    delta = delta_global+    if per_type:+        lab_prev = labels_of(prev)+        lab_last = labels_of(last)+        shift_by_type = {}+        for t in sorted(set(lab_prev.tolist()) & set(lab_last.tolist())):+            m1 = lab_prev == t+            m2 = lab_last == t+            if m1.sum() < 5 or m2.sum() < 5:+                continue+            dt_pc = Z[n1:][m2].mean(axis=0) - Z[:n1][m1].mean(axis=0)+            shift_by_type[t] = ((s * lam * dt_pc) @ V.T).astype(np.float32)++    fallback = os.environ.get("LOWRANK_FALLBACK", "none")+    shift_h = ((s * lam * delta) @ V.T).astype(np.float32)  # global shift on hvg++    cols = hvg+    Xc = sp.csr_matrix(X_last, dtype=np.float32, copy=True)+    lab_last_rows = labels_of(last)[rows]++    if shift_by_type is not None:+        base = shift_h if fallback == "global" else np.zeros_like(shift_h)+        shift_full = np.zeros(Xc.shape[1], dtype=np.float32)+        shift_full[cols] = base+        Xc.data += shift_full[Xc.indices]+        for t, sh_t in shift_by_type.items():+            sel = np.flatnonzero(lab_last_rows == t)+            if sel.size == 0:+                continue+            sf_t = np.zeros(Xc.shape[1], dtype=np.float32)+            sf_t[cols] = sh_t - base  # net correction vs base+            sub = Xc[sel]+            sub.data += sf_t[sub.indices]+            Xc[sel] = sub+    else:+        shift_full = np.zeros(Xc.shape[1], dtype=np.float32)+        shift_full[cols] = shift_h+        Xc.data += shift_full[Xc.indices]++    np.clip(Xc.data, 0.0, None, out=Xc.data)+    Xc.eliminate_zeros()+    out_X = Xc++    write_prediction(out_X, genes, args.out, seed=args.seed)++    if os.environ.get("LOWRANK_DEBUG"):+        n_moved = int((np.abs(shift_h) > 0.01).sum())+        print(f"s={s:.3f} k={k} genes_moved={n_moved} shift_absmax={np.abs(shift_h).max():.3f} "+              f"delta_pc_absmax={np.abs(delta).max():.3f} lam[:5]={np.round(lam[:5], 3)}")   if __name__ == "__main__":

调研来源?调研员查到并用到的知识条目和文献检索结果（只列标题和编号）。

用到的知识库条目

分析结果?分析员写的 ANALYSIS.json：改了什么、各组分数怎么变、假设是否成立、经验和下一步建议。

对话摘要?每个角色和大模型对话的统计：轮数、工具调用、用时、token 数和最后的回答摘录；原始记录只给路径。

只给统计和最后回答的摘录；完整对话请到原始记录位置里列出的文件看。

分析员

ANALYSIS.json written

工程师

**做了什么**：把父节点 copy_last 改成 PLAN 的 lowrank_shape 方法——PCA(25维/2500HVG) 低秩均值外推，方差收缩 λ_k=var_k/(var_k+0.3)，位移乘时间差比 s=α·Δt_out/Δt_in（α=1.8, cap 4）。关键结构修复：**按细胞型**在两阶段配对内部算均值差、逐细胞施加（全局均值差被组成变化污染，de_direction 为负）；位移只加在已有非零元素上保持稀疏（稠密化会让 covariation 崩到 27）。单输入视图精确退化为 copy_last；机制关闭对照（τ=1e6）与父节点输出最大差 3e-4；伪装视图（时间+1、manifest 乱序）输出逐元素相同；seed 确定。

**查分（X3 A 半，用 10/20 次）**：父 47.92 → 全局位移 46.8 → 分型位移 52.8 → τ=0.3 52.9 → α=1.8 **54.90**(seed0) / 55.44(seed1) / 55.70(seed2)，均值 55.35；四组分 cell_state 49.7→66、de_recovery 44.1→52、direction 49.2→50-51、covariation 持平 ~48。

**下一步最值得试**：covariation 是唯一没涨的组分——大位移下 clip≥0 截断可能是主因，可试乘性位移（exp 空间缩放）或只对高置信 PC 位移；以及把节点 2 的 OT 配对与本节点的分型低秩位移结合（用 OT 处理 Unknown/不可配对细胞）。

调研员

```json
{
  "name": "PCA低秩均值外推修复copy_last零动态问题",
  "motivation": "父节点1（copy_last）得分47.92，最弱组de_recovery仅44.09（低于50基线），原因是输出完全不含时间变化。节点2（OT, 50.65）证明引入时间动态可将de_recovery提至51.38、covariation提至52.52。但OT做逐细胞位移，实现复杂；本方案用PCA空间低秩均值位移作为更轻量的结构修复，重点改善de_recovery和direction，同时保持共变结构。",
  "approach": "1) 读取两个输入阶段，取交集基因，选前2500个HVG（按两阶段合并方差）。2) 对合并矩阵做PCA，保留前25个PC。3) 分别计算两阶段在PCA空间的均值μ₁、μ₂，得δ=μ₂−μ₁。4) 对第k个PC按方差收缩：λ_k = var_k/(var_k+τ)，δ_shrunk_k = λ_k·δ_k；τ初值1.0，搜索{0.1, 0.3, 1.0, 3.0, 10.0}。5) 将δ_shrunk加到每个最后阶段细胞的PCA坐标，逆变换回基因空间，clip≥0。6) 单输入阶段退路：若inputs_by_time只返回一个阶段，直接输出copy_last（与父节点一致）。7) 用vec-score在X3上查分；先τ=1.0跑通流程，再扫τ，每次查分后记录四组分。30分钟内预计可跑5-6次查分。",
  "expected_groups": ["de_recovery", "direction"],
  "risks": "1) PCA外推是全局均值位移，无法捕捉细胞异质性方向变化，direction提升可能有限（预期+1~3分）；Engineer应检查输出与输入的逐细胞差异分布，若差异为零说明位移未生效。2) τ过大退化为copy_last，τ过小噪声放大；若τ=0.1和τ=10.0都不如τ=1.0，说明收缩方向正确但需细调。3) PCA维度选择：若25维不够，可试15或35；Engineer应在第一次查分后检查各PC的δ大小分布，确认前25维包含主要变化。",
  "family_id": "lowrank_shape",
  "mechanism": "在PCA低秩空间估计两输入阶段的均值差，按每个PC的方差占比进行收缩（低方差噪声方向被抑制），将收缩后的低秩位移加到每个细胞再投影回基因空间，使预测包含沿数据主结构方向的时间动态。",
  "vs_constant_shift": "旧pseudobulk_shift在全基因空间做每细胞型均值位移（alpha=1，无降维无收缩），所有基因含噪声基因均被等量位移，且按细胞型分组。本方案在PCA空间（≤25维）操作，低方差方向被收缩系数λ压至近零，只有数据主结构方向的变化被外推；位移是低秩的，天然保持基因间共变关系；不按细胞型分组，对所有细胞施加相同低秩位移。",
  "mechanism_evidence": "1) 报告收缩前后各PC的δ值，确认高方差PC保留、低方差PC被压缩；2) 统计基因空间中|位移|>0.01的基因数（预期200-800个）；3) 四组分分别对比父节点，重点看de_recovery是否从44.09提升；4) 计算输出与输入的基因协方差矩阵Pearson相关（预期>0.95，确认共变结构保持）。",
  "mechanism_off_control": "将τ设为1e6，使所有λ_k≈0，位移归零，输出等同copy_last。预期：关闭后四组分分数与父节点1一致（差异<0.5分，在噪声范围内）。若关闭后分数仍有变化，说明实现有bug（如PCA逆变换引入数值误差）。"
}
```

审查员

REVIEW.json written