总览 · ← 返回运行 20261003-043412-search-t2-heart-interp-g24-D-s1

节点 n18

表达PCA+相对几何联合latent的Sinkhorn配对插值（T2HI-03 draft）：a侧细胞经OT配偶做表达凸组合，坐标保真实（γ=0），mix配额/对齐/压实尺度为复用部件。

方法说明?节点程序自带的 METHOD.md：这个程序做了什么、为什么。

来自 programs.git 6f388fd7d3:solution/METHOD.md

调研员的计划

代码改动?这个节点的程序和父节点程序的逐行差别：绿色是新增，红色是删除。

对比：这个提交的上一版（种子程序：相对空仓库）。改动的文件：solution/EXECUTION.json +1 −0、solution/METHOD.md +26 −0、solution/run.py +222 −0

diff --git a/solution/EXECUTION.json b/solution/EXECUTION.jsonnew file mode 100644index 0000000..6d8012e--- /dev/null+++ b/solution/EXECUTION.json@@ -0,0 +1 @@+{"gpu": false}\ No newline at end of filediff --git a/solution/METHOD.md b/solution/METHOD.mdnew file mode 100644index 0000000..d9efb27--- /dev/null+++ b/solution/METHOD.md@@ -0,0 +1,26 @@+表达PCA+相对几何联合latent的Sinkhorn配对插值（T2HI-03 draft）：a侧细胞经OT配偶做表达凸组合，坐标保真实（γ=0），mix配额/对齐/压实尺度为复用部件。++## 方法（实际实现 = PLAN 家族 T2HI-03）+1. `interp_bracket` 取两侧输入，t 由时间差算出（视图无关，只用相对时间）。+2. 复用已验证部件：procrustes 对齐（`frame.align_pair`）、细胞数与类型配额（`interp_count`/`mix_indices`，与 mix 基线同）、目标 RMS = log 线性 × K^(4t(1−t))，K=0.62（节点13 压实校正）。+3. 机制：每侧计算联合 latent z = [表达 PCA 前 20 维(联合中心化); α·相对几何]，两块各自按侧标准化；几何 = k=20 近邻距离均值/标准差、邻域前 12 类型频率、归一化半径（除以本侧半径 95 分位）——全部为尺度无关相对量，两侧无需坐标配准。α=2.0。+4. 每侧按类型分层抽样 ≤4000 细胞，POT `ot.sinkhorn`（ε = latent 成对距离中位数×5%，300 次迭代，均匀边际）求耦合；每个抽样 a 细胞取行 argmax 为配偶。+5. 解码：输出中 a 侧细胞（配额 (1−t)·n）表达 = (1−t)·x_a + t·x_b[配偶]，配偶经"全量 a 细胞在 latent 上继承最近抽样孪生的配偶"传播到全部输出细胞；坐标 = 真实对齐位置 + γ·t·(配偶坐标−自身)，**提交 γ=0**（γ=1 使 local_spatial 54→38.7、shape 崩到 46.4，与节点5"OT 搬坐标伤 shape"一致，故坐标端机制关闭，表达端机制保留）。b 侧细胞为真实细胞（安全垫，同 mix）。+6. 单输入视图退路：分层抽 anchor 至 max_cells 原样输出（未在本视图触发）。++## 机制生效证据（seed 0，proxy E8.25+E9.5→E8.75，t=0.4）+- ON：耦合配偶距离中位 7.04 > latent 最近邻 5.83，仅 9.3% 配偶=最近邻 → 配对非近邻复制；同类型内表达位移与类型均向量的 |cos| 平均 0.510（常数位移应≈1）。+- OFF（α=0 + ε→∞ 均匀耦合，`T2HI03_OFF=1`）：均匀耦合行全同 → 全体共享同一配偶（等价常数位移方向），|cos| 升到 0.802，证明 ON 的逐细胞差异确实来自联合 latent 耦合。+- ON/OFF 查分（A 半）：ON 55.23（expr 64.03 / state 57.71 / shape 57.42 / local 41.77）；OFF 46.91（59.72 / 43.94 / 48.60 / 35.36）。机制在 expression_change +4.3、cell_state +13.8、local_spatial +6.4、总分 +8.3 —— 远超 1 分判据，机制运行且有益（相对 OFF）。+- γ=1（坐标也走 OT 配对）：51.70，local 38.66 / shape 46.37 → 坐标端配对有害，关闭。++## 已验证 / 未验证+- 已验证：proxy 视图 seed 0 跑通（~9s，CPU）、vec-check ok、上述 3 次查分（额度用 3/20）。+- 未验证：α 网格（PLAN 建议 0.5/1/2/4，时间不够只跑了 α=2）；Sinkhorn 未收敛警告（300 迭代仍报，ε 偏小、耦合弥散，entropy 9.4）；多 seed；final 视图三输入路径（代码走 interp_bracket，逻辑同）。+- 局限：总分 55.23 低于树最佳节点13（67.43，mix+簇抽样+压实校正）；差距主要在 local_spatial（41.8 vs 65.7）——本实现的 a 侧抽样是分层随机而非空间连续簇抽样，且表达解码本身拉高 neighborhood_mmd。cell_state 57.7 也低于 mix 的 67.6，说明远距配偶的凸组合表达偏离流形。++## 知识来源+仅通用部件复用（树内节点2/13 的对齐、配额、K=0.62 压实校正为已发表实验结果）；未使用任何保留阶段/基因型信息、文献或外部记忆；未读 external/、prior/。++## 下一步建议+在 ON(γ=0) 基础上：a 侧改用节点7/8 的 kNN 簇抽样；配偶限制在表达距离近邻域内（或对耦合做 top-k 截断）以救 cell_state；α 网格 {1,4}。diff --git a/solution/run.py b/solution/run.pynew file mode 100644index 0000000..33d74f2--- /dev/null+++ b/solution/run.py@@ -0,0 +1,222 @@+"""T2HI-03 draft: Sinkhorn pairing on a joint latent of expression PCA ++relative geometry; decoded cells are convex combinations of paired real cells+(expression AND coordinates from the same pair).++Mix-baseline scaffolding (frame alignment, count/composition quotas, RMS+scaling with node-13 compaction correction) is reused as verified parts.+The mechanism is switched OFF via env T2HI03_OFF=1 (alpha=0, uniform coupling).+"""+from __future__ import annotations++import argparse+import json+import os+import sys++import numpy as np+import scipy.sparse as sp+from scipy.spatial import cKDTree++from src.task2_spatial import view_io+from src.task2_spatial.frame import (+    align_pair,+    center,+    log_interp,+    rms_radius,+    scale_to_rms,+)+from src.task2_spatial.sample import interp_count, mix_indices, take++K_COMPACT = 0.62+N_PCA = 20+KNN = 20+N_TYPES_GEOM = 12+OT_SAMPLE = 4000+SINKHORN_ITERS = 300+++def log(*a):+    print(*a, file=sys.stderr, flush=True)+++def geom_features(coords: np.ndarray, labels: np.ndarray):+    """Relative, scale-free geometry: normalized radius, kNN distance mean/std,+    neighborhood type composition (top-12 types of this side)."""+    c = center(coords)+    r = np.sqrt((c * c).sum(axis=1))+    r95 = float(np.quantile(r, 0.95)) + 1e-8+    cn = c / r95+    tree = cKDTree(cn)+    dist, idx = tree.query(cn, k=KNN + 1)+    dist = dist[:, 1:]+    idx = idx[:, 1:]+    nn_mean = dist.mean(axis=1)+    nn_std = dist.std(axis=1)+    radius = np.sqrt((cn * cn).sum(axis=1))+    labs = np.asarray(labels).astype(str)+    types, counts = np.unique(labs, return_counts=True)+    top = types[np.argsort(-counts)[:N_TYPES_GEOM]]+    comp = np.zeros((len(labs), len(top)), dtype=np.float64)+    pos = {t: i for i, t in enumerate(top)}+    is_top = np.array([pos.get(t, -1) for t in labs])+    for j in range(len(top)):+        member = (is_top == j).astype(np.float64)+        comp[:, j] = member[idx].mean(axis=1)+    return np.column_stack([nn_mean, nn_std, radius, comp])+++def joint_expr_pca(xa: np.ndarray, xb: np.ndarray, n_pca: int):+    stacked = np.vstack([xa, xb])+    mu = stacked.mean(axis=0)+    u, s, vt = np.linalg.svd(stacked - mu, full_matrices=False)+    comps = vt[:n_pca]+    return (xa - mu) @ comps.T, (xb - mu) @ comps.T+++def std_block(x: np.ndarray) -> np.ndarray:+    s = x.std(axis=0)+    s = np.where(s < 1e-8, 1.0, s)+    return (x - x.mean(axis=0)) / s+++def sinkhorn_coupling(za: np.ndarray, zb: np.ndarray, eps: float, iters: int):+    import ot++    na, nb = len(za), len(zb)+    M = ot.dist(za, zb, metric="sqeuclidean")+    a = np.full(na, 1.0 / na)+    b = np.full(nb, 1.0 / nb)+    P = ot.sinkhorn(a, b, M, reg=eps, numItermax=iters, stopThr=1e-9)+    return np.nan_to_num(P, nan=0.0)+++def main():+    ap = argparse.ArgumentParser()+    ap.add_argument("--data", required=True)+    ap.add_argument("--out", required=True)+    ap.add_argument("--seed", type=int, default=0)+    args = ap.parse_args()+    view = args.data++    off = os.environ.get("T2HI03_OFF", "0") == "1"+    alpha = 0.0 if off else float(os.environ.get("T2HI03_ALPHA", "2.0"))++    manifest = view_io.load_manifest(view)+    genes = view_io.panel_genes(view, manifest)+    lo = int(manifest["min_cells"])+    hi = int(manifest["max_cells"])+    rng = np.random.default_rng(args.seed)++    a_entry, b_entry, t = view_io.interp_bracket(manifest)+    stage_a = view_io.read_stage(view, a_entry, genes)++    if b_entry is None:+        idx = take(stage_a.labels, hi, rng)+        view_io.write_t2(args.out, stage_a.X[idx].toarray(), stage_a.coords[idx], genes, args.seed)+        return++    stage_b = view_io.read_stage(view, b_entry, genes)+    t = float(np.clip(t, 0.0, 1.0))+    log(f"bracket {a_entry['stage']} -> {b_entry['stage']}, t={t:.3f}, alpha={alpha}, off={off}")++    aligned_a, aligned_b, info = align_pair(+        stage_a.coords, stage_b.coords, stage_a.labels, stage_b.labels, "procrustes"+    )+    rms_a = rms_radius(stage_a.coords)+    rms_b = rms_radius(stage_b.coords)+    target_rms = log_interp(rms_a, rms_b, t) * (K_COMPACT ** (4.0 * t * (1.0 - t)))+    ca = scale_to_rms(aligned_a, target_rms)+    cb = scale_to_rms(aligned_b, target_rms)+    log(f"align={info.get('align')} shared={info.get('n_shared_types')} rms_a={rms_a:.1f} rms_b={rms_b:.1f} target_rms={target_rms:.1f}")++    n = interp_count(stage_a.n, stage_b.n, t, lo, hi)+    ia, ib = mix_indices(stage_a.labels, stage_b.labels, t, n, rng)+    log(f"n_out={n} from_a={len(ia)} from_b={len(ib)}")++    Xa = np.asarray(stage_a.X.todense(), dtype=np.float32)+    Xb = np.asarray(stage_b.X.todense(), dtype=np.float32)++    # ---- joint latent: expression PCA + relative geometry ----+    ea_full, eb_full = joint_expr_pca(Xa, Xb, N_PCA)+    ga_full = geom_features(stage_a.coords, stage_a.labels)+    gb_full = geom_features(stage_b.coords, stage_b.labels)+    za_full = np.hstack([std_block(ea_full), alpha * std_block(ga_full)])+    zb_full = np.hstack([std_block(eb_full), alpha * std_block(gb_full)])++    sa = take(stage_a.labels, min(OT_SAMPLE, stage_a.n), rng)+    sb = take(stage_b.labels, min(OT_SAMPLE, stage_b.n), rng)+    za, zb = za_full[sa], zb_full[sb]++    import ot as _ot++    sub = _ot.dist(za[:800], zb[:800], metric="euclidean")+    med = float(np.median(sub))+    eps = 0.05 * med+    if off:+        P = np.outer(np.full(len(za), 1.0 / len(za)), np.full(len(zb), 1.0 / len(zb)))+    else:+        P = sinkhorn_coupling(za, zb, eps, SINKHORN_ITERS)+    partner = P.argmax(axis=1)++    # diagnostics+    pn = P / max(P.sum(), 1e-12)+    ent = float(-(pn[pn > 0] * np.log(pn[pn > 0])).sum())+    ent_max = float(np.log(min(len(za), len(zb))))+    sp_dist = np.linalg.norm(za[np.arange(len(za))] - zb[partner], axis=1)+    tree_b = cKDTree(zb)+    nn_dist, _ = tree_b.query(za, k=1)+    log(f"coupling entropy {ent:.2f}/{ent_max:.2f}; partner dist med {np.median(sp_dist):.3f}; latent-NN dist med {np.median(nn_dist):.3f}; frac partner==NN {np.mean(sp_dist <= nn_dist + 1e-9):.3f}")++    # expression-space check: is pairing driven by geometry too?+    ea_s, eb_s = std_block(ea_full[sa]), std_block(eb_full[sb])+    ed = np.sqrt(_ot.dist(ea_s, eb_s, metric="sqeuclidean"))+    ed_nn = ed.min(axis=1)+    ed_sp = ed[np.arange(len(za)), partner]+    log(f"expr-only NN dist med {np.median(ed_nn):.3f} vs partner {np.median(ed_sp):.3f}")++    # within-type displacement cosine dispersion (mechanism evidence)+    labs_sa = np.asarray(stage_a.labels).astype(str)[sa]+    types = np.unique(labs_sa)+    cosps = []+    disp_expr = (Xb[sb[partner]] - Xa[sa])+    for ty in types:+        m = labs_sa == ty+        if m.sum() < 10:+            continue+        v = disp_expr[m]+        vn = v / (np.linalg.norm(v, axis=1, keepdims=True) + 1e-12)+        mu = vn.mean(axis=0)+        mu /= np.linalg.norm(mu) + 1e-12+        cosps.append(float((vn @ mu).mean()))+    log(f"within-type displacement |cos to type-mean| avg {np.mean(cosps):.3f} (constant shift => ~1.0)")++    # ---- decode: every a-side output cell inherits the partner of its nearest+    # latent-sampled twin, so expr+coords come from the same real pair ----+    tree_sa = cKDTree(za_full[sa])+    _, inherit = tree_sa.query(za_full[ia], k=1)+    pidx = sb[partner[inherit]]++    gamma = float(os.environ.get("T2HI03_GAMMA", "0.0"))+    xa_out = (1.0 - t) * Xa[ia] + t * Xb[pidx]+    pa_out = ca[ia] + gamma * t * (cb[pidx] - ca[ia])+    xb_out = Xb[ib]+    pb_out = cb[ib]++    expr = np.clip(np.vstack([xa_out, xb_out]), 0.0, None).astype(np.float32)+    coords = np.vstack([pa_out, pb_out])++    # jitter exact duplicate coords (mix baseline safety)+    rounded = np.round(coords, 5)+    _, inv, counts = np.unique(rounded, axis=0, return_inverse=True, return_counts=True)+    if counts.max() > 1:+        noise = rng.normal(0.0, 1e-4 * (rms_radius(coords) + 1e-8), size=coords.shape)+        dup = counts[inv] > 1+        coords[dup] += noise[dup]+    coords = scale_to_rms(coords, target_rms)+    log(f"out n={expr.shape[0]} rms={rms_radius(coords):.1f}")++    view_io.write_t2(args.out, expr, coords.astype(np.float32), genes, args.seed)+++if __name__ == "__main__":+    main()

调研来源?调研员查到并用到的知识条目和文献检索结果（只列标题和编号）。

用到的知识库条目

分析结果?分析员写的 ANALYSIS.json：改了什么、各组分数怎么变、假设是否成立、经验和下一步建议。

对话摘要?每个角色和大模型对话的统计：轮数、工具调用、用时、token 数和最后的回答摘录；原始记录只给路径。

只给统计和最后回答的摘录；完整对话请到原始记录位置里列出的文件看。

分析员

ANALYSIS.json written

工程师

完成。总结：

**做了什么**：从零实现 T2HI-03 draft——表达 PCA(20维) + 尺度无关相对几何（kNN 距离、邻域类型组成、归一化半径）拼联合 latent（α=2），4000×4000 分层抽样 Sinkhorn 配对，a 侧输出细胞表达 = (1−t)x_a + t·x_b[配偶]（配偶经 latent 最近孪生传播到全量），坐标保真实对齐位置（γ=0，γ=1 实测崩 local/shape 故关闭）；对齐/配额/K=0.62 压实校正复用已验证部件；含单输入退路与 OFF 开关。

**查分**（3/20 次）：ON γ=1 = 51.70；ON γ=0 = **55.23**（expr 64.0 / state 57.7 / shape 57.4 / local 41.8，提交版）；OFF 对照 = 46.91 → 机制 ON/OFF 差 +8.3，且同类型位移 |cos| 0.51(ON) vs 0.80(OFF)，非近邻配对率 90.7%，机制确实运行。低于树最佳 67.4（差距在 local_spatial：未用簇抽样）。

**下一步最值得试**：在本机制上叠加节点7/8 的 kNN 簇抽样（local 41.8 是最大短板）、配偶做表达近邻域截断救 cell_state、α∈{1,4} 网格。

调研员

n1) 读视图 a(E8.5)、b(E9.5)；对每侧：表达取 log1p 归一化后做 PCA 保留前 20 维（解释方差约 50–70% 即可，不追求重构）；几何取三类刚体不变相对量：到 k=20 近邻距离的 (均值, 标准差)、邻域类型组成（按本侧前 12 个类型的频率向量）、到云质心的距离除以该侧半径 95 分位数。所有几何量均为相对量，两阶段绝对坐标系无需配准，proxy 与 final 同一段代码；若视图只有一个输入阶段，则退化为“源侧自近邻伪批量 + copy_last 表达”的对照输出（不启用 OT）。\n2) 联合 latent z = [PCA 表达; α·几何]，α=2.0 起步（搜索 0.5/1/2/4）；两侧各自标准化到单位方差后再拼。\n3) 用 Sinkhorn（熵正则 ε 取 latent 成对距离中位数的 5%，迭代 100 次；若无 POT 则用纯 numpy 的 log 域 Sinkhorn）计算 a→b 的传输耦合；为控时，每侧按类型分层抽样至 ≤4000 细胞做 OT，类型配额沿用 mix 基线的目标组成逻辑。\n4) 解码：对每个源细胞取其 OT 配偶（耦合矩阵行最大项），输出表达 = (1-t)·expr_src + t·expr_partner、坐标 = (1-t)·coord_src + t·coord_partner，t=0.5；即表达-坐标成对来自同一真实细胞组合，保持对应。输出细胞数与类型配额按 b 侧目标组成，多余配额由 b 侧真实细胞补齐（与 mix 相同的安全垫）。\n5) shape_scale 沿用已验证的压实校正（节点13：target RMS × K^(4t(1−t))，K=0.62），作为部件复用，不是本节点机制。\n6) 查分策略：先在 α 网格 {1,2} 上各查 1 次 vec-score（A 半），选较优者再复查 1 次确认是否 >1 分差（T2 噪声约 1 分）；总查询控制在 6 次内，剩余预算留给 ON/OFF 对照与最终复跑。30 分钟时限：抽样+numpy Sinkhorn 在 CPU 上秒级，先 500 细胞冒烟测试再全量。",
 "expected_groups": ["expression_change", "local_spatial"],
 "risks": "1) 仅两个时间点时 OT 场弱识别（k009），配对可能退化为近邻复制——Engineer 应打印耦合熵与配偶距离分布，若 90% 细胞配到表达最近邻则机制名存实亡；2) 几何权重 α 过大把配对拉向几何而伤 expression_change——用分组分判断，α 网格先小后大；3) 凸组合插值产生视图里不存在的表达值，可能伤 cell_state——保留“b 侧真实细胞补齐配额”兜底，若 cell_state 掉 >2 分则提高真实细胞比例；4) 时间紧勿调超过 2 个超参；任何配置若总分低于 copy_last 基线（48.6）立即回退该配置。",
 "family_id": "T2HI-03",
 "mechanism": "把表达 PCA 与相对几何（邻域距离分布、邻域类型组成、归一化半径）拼成联合 latent，在其上做 Sinkhorn OT 得到 a↔b 细胞配对，输出细胞由成对的真实细胞表达+坐标凸组合解码，使表达与位置对应。",
 "vs_constant_shift": "常数位移对同一类型所有细胞施加同一向量、不改变表达；本方案中每个细胞的配偶与插值权重取决于该细胞自身的表达状态+局部几何，同类型内不同位置/状态的细胞被送往不同目标，且表达也随配偶插值变化（常数位移完全不碰表达）。",
 "mechanism_evidence": "Engineer 需记录：1) 同类型内位移向量的成对余弦离散度（常数位移应≈0，联合 latent 配对应显著>0）；2) 耦合熵/配偶距离分布，证明配对由几何特征调制而非全部落到表达最近邻；3) 特征消融：只用表达特征（α=0）与联合特征（α=2）的分组分差异，差值>1 分才说明几何部分在起作用；4) 四组分各自相对 mix 基线（节点2：63.90/54.03/53.37/66.70）的变化方向。",
 "mechanism_off_control": "同一程序设 α=0（几何关闭，仅表达特征）并把 Sinkhorn ε 推到无穷大（耦合退化为均匀矩阵→等价于按类型配额随机配对），此时输出应回到“类型内随机配偶凸组合”；预期与 ON 版在 expression_change、local_spatial 上差 ≥1 分，若逐位相同则机制未运行，按 draft 如实报告失败。",
 "sources": []}
```