总览 · ← 返回运行 20261003-171955-search-t2-embryo-interp-chain-12h

节点 n16

T2EI-03：表达PCA+刚体不变几何联合latent中a→b配对、按t取中点，双侧各取距中点最近细胞解码输出（比例(1−t):t），坐标procrustes3d对齐+阻尼log-RMS缩放。

方法说明?节点程序自带的 METHOD.md：这个程序做了什么、为什么。

来自 programs.git a7748d2407:solution/METHOD.md

调研员的计划

代码改动?这个节点的程序和父节点程序的逐行差别：绿色是新增，红色是删除。

对比：这个提交的上一版（种子程序：相对空仓库）。改动的文件：solution/EXECUTION.json +1 −0、solution/METHOD.md +37 −0、solution/run.py +187 −0

diff --git a/solution/EXECUTION.json b/solution/EXECUTION.jsonnew file mode 100644index 0000000..9d5125c--- /dev/null+++ b/solution/EXECUTION.json@@ -0,0 +1 @@+{"gpu": false}diff --git a/solution/METHOD.md b/solution/METHOD.mdnew file mode 100644index 0000000..cd88a0f--- /dev/null+++ b/solution/METHOD.md@@ -0,0 +1,37 @@+T2EI-03：表达PCA+刚体不变几何联合latent中a→b配对、按t取中点，双侧各取距中点最近细胞解码输出（比例(1−t):t），坐标procrustes3d对齐+阻尼log-RMS缩放。++## 方法（family T2EI-03，机制默认开启）++1. `interp_bracket` 取括号 (a,b,t)；单输入/无括号时退路 = copy_last（分层抽样到 limits）。+2. 坐标 `align_pair(procrustes3d)` 对齐，双侧缩放到 `log_interp(rms_a,rms_b,t,scale_damp=0.5)`。+3. 联合 latent：合并表达（498 基因，log1p）中心化 PCA 前 30 维（协方差 eigh，符号固定，z-score）＋几何块（每细胞在自己云内 15-NN 平均距离＋合并坐标云前 3 主轴归一化投影，全部刚体不变，z-score），几何权重 `T2EI03_GEOM_W`（默认 1.0）。+4. 配对：a 侧每细胞在 b 侧 latent 最近邻（cKDTree）；中点 z=(1−t)z_a+t·z_b。+5. 解码：a 侧取距中点集最近的 (1−t)·n 个唯一细胞，b 侧取 t·n 个（按距离升序贪心去重；不足补随机），输出这些真实细胞的原始表达＋坐标（配对原样保留），坐标再整体缩放到目标 RMS。n = log 线性细胞数插值夹到 [min,max]（本 proxy = 5000）。++## 机制对照（T2EI03_SELECT_MODE=random 且 GEOM_W=0，即随机混抽 ≈ mix）++proxy（E6.75+E8.0→E7.25，t=0.4，seed 0，A 半）：++| 配置 | 榜分 | 表达 | 细胞状态 | 形状 | 邻域 |+|---|---:|---:|---:|---:|---:|+| 机制开（GEOM_W=1，latent 选取） | **49.46** | 55.69 | 34.91 | 64.24 | 43.00 |+| 机制半开（GEOM_W=0，纯表达 latent） | 47.58 | 55.46 | 33.61 | 60.76 | 40.48 |+| 机制关（random 混抽，同对齐/缩放） | **56.42** | 59.80 | 36.23 | 75.17 | 54.48 |++## 机制生效的证据++- 几何块确实改变选择：GEOM_W=1 vs 0，mmd_u（0.0259 vs 0.0285）、邻域（0.1007 vs 0.1116）、形状组均不同，选取集合不同（unique decoded 6879 vs 6686）。+- 输出 a/b 侧比例 = (1−t):t = 3000:2000（按构造），cell_state 组随选择方式变化（34.9 vs 36.2）。+- 结论（如实报告）：**机制生效但有害**。latent 中点最近邻选取偏好两云的边界/离群细胞：DE 组被拉低（pb 排序变差）、mmd_u 变差、且这些细胞在合并坐标云中集中在两阶段交界，15-NN 邻域混入异期表达，邻域 skill 掉到 0.43/0.40（地板 0.5 以下），结构门又把形状组从 75 打到 64/61。随机混抽保留每侧完整局部结构，邻域 54.5。PLAN 预期“cell_state 提升到 55+”未实现——在真实细胞池里挑“最中间”的细胞不等于中间态分布，反而挑出异常细胞。++## 参数与验证++- 默认：PCA_DIM=30, KNN_K=15, GEOM_W=1.0, ALIGN=procrustes3d, SCALE_DAMP=0.5, COUNT_DAMP=1.0, SELECT_MODE=latent（机制开）。全部可用 `T2EI03_*` 环境变量覆盖，对照在同一程序内。+- 已验证：proxy 视图 vec-check 通过；3 次 vec-score（如上）；运行 ~30s CPU（BLAS 单线程，本机多线程反而慢 20 倍）；seed 确定（default_rng(seed)，eigh 符号固定，cKDTree 确定）。+- 未验证：其他视图/真实括号（E7.25+E8.0→E7.75 附近）；τ 软化选择、按空间簇选取等变体（时间不够）。+- 知识来源：仅通用几何/统计（kNN 距离、主轴投影为刚体不变量）；未使用任何保留阶段/基因型信息。++## 给后续节点的建议++- 不要把“距中点 latent 最近”当中间态判据（本节点实测低于 mix 7 分、低于地板组门限）。若保留本家族，方向应是软化选择（大 τ 采样趋近随机）或只在型内做中点选取，避免跨云边界细胞。+- random 对照 56.42 与节点 2 mix（57.23，rank3 口径）一致，说明本程序的对齐/缩放/计数管线正确，可作为其他机制的干净底座。diff --git a/solution/run.py b/solution/run.pynew file mode 100644index 0000000..466bfec--- /dev/null+++ b/solution/run.py@@ -0,0 +1,187 @@+"""T2EI-03: joint expression-geometry latent interpolation -> decode to nearest real cells.++Pair a-side cells to b-side cells in a joint latent (expression PCA + rigid-invariant+local geometry), linearly interpolate paired latents at the bracket time fraction t,+then decode each interpolated latent to its nearest real cell (expression + coords+taken together, so the expression/position pairing is preserved). Deduplicate, adjust+to the target cell count, rescale coordinates to the log-interpolated RMS.++Control (mechanism off): T2EI03_SELECT_MODE=random reproduces plain mix+(stratified random draw of real cells at ratio (1-t, t)); T2EI03_GEOM_W=0 removes the+geometry block from the latent (expression-only selection).+"""++from __future__ import annotations++import argparse+import os++for _v in ("OPENBLAS_NUM_THREADS", "OMP_NUM_THREADS", "MKL_NUM_THREADS", "NUMEXPR_NUM_THREADS"):+    os.environ.setdefault(_v, "1")++import numpy as np+from scipy import sparse+from scipy.spatial import cKDTree++from src.task2_spatial import view_io+from src.task2_spatial.frame import align_pair, log_interp, rms_radius, scale_to_rms+from src.task2_spatial.sample import clip_n, interp_count, mix_indices, take++ENV_PREFIX = "T2EI03_"+++def _env(name: str, default):+    raw = os.environ.get(ENV_PREFIX + name)+    if raw is None or raw == "":+        return default+    if isinstance(default, bool):+        return raw.lower() in {"1", "true", "yes"}+    if isinstance(default, int) and not isinstance(default, bool):+        return int(raw)+    if isinstance(default, float):+        return float(raw)+    return raw+++def _pca(X: np.ndarray, k: int) -> np.ndarray:+    """Deterministic PCA projection (sign-fixed), X: (n, d) dense float32."""+    Xc = X - X.mean(axis=0, keepdims=True)+    k = int(min(k, Xc.shape[1], Xc.shape[0]))+    if Xc.shape[0] >= Xc.shape[1]:+        C = Xc.T @ Xc+        w, V = np.linalg.eigh(C)+        V = V[:, ::-1][:, :k].copy()+    else:+        _, _, Vt = np.linalg.svd(Xc, full_matrices=False)+        V = Vt[:k].T.copy()+    for j in range(V.shape[1]):+        i = int(np.argmax(np.abs(V[:, j])))+        if V[i, j] < 0:+            V[:, j] *= -1.0+    return Xc @ V+++def _zscore(A: np.ndarray) -> np.ndarray:+    mu = A.mean(axis=0, keepdims=True)+    sd = A.std(axis=0, keepdims=True)+    sd[sd < 1e-8] = 1.0+    return (A - mu) / sd+++def _geom_features(coords: np.ndarray, k: int = 15) -> np.ndarray:+    """Rigid-invariant local geometry: mean kNN distance + normalized projections+    on the top-3 principal axes of the coord cloud."""+    tree = cKDTree(coords)+    dist, _ = tree.query(coords, k=min(k, len(coords)) + 1)+    knn = dist[:, 1:].mean(axis=1, keepdims=True)+    axes = _pca(coords.astype(np.float32), 3)+    proj = _zscore(axes)+    return np.hstack([knn, proj]).astype(np.float64)+++def _joint_latent(stages, coords_scaled, pca_dim: int, geom_w: float):+    Xd = np.vstack([np.asarray(s.X.todense(), dtype=np.float32) for s in stages])+    ep = _zscore(_pca(Xd, pca_dim).astype(np.float64))+    parts = [ep]+    if geom_w > 0:+        gf = np.vstack([_geom_features(c) for c in coords_scaled])+        parts.append(geom_w * _zscore(gf))+    joint = np.hstack(parts)+    n_a = stages[0].n+    return joint[:n_a], joint[n_a:]+++def main() -> None:+    ap = argparse.ArgumentParser()+    ap.add_argument("--data", required=True)+    ap.add_argument("--out", required=True)+    ap.add_argument("--seed", type=int, required=True)+    args = ap.parse_args()++    seed = int(args.seed)+    rng = np.random.default_rng(seed)++    pca_dim = _env("PCA_DIM", 30)+    knn_k = _env("KNN_K", 15)+    geom_w = float(_env("GEOM_W", 1.0))+    select_mode = str(_env("SELECT_MODE", "latent"))+    align = str(_env("ALIGN", "procrustes3d"))+    scale_damp = float(_env("SCALE_DAMP", 0.5))+    count_damp = float(_env("COUNT_DAMP", 1.0))++    view = args.data+    manifest = view_io.load_manifest(view)+    genes = view_io.panel_genes(view, manifest)+    lo = int(manifest["min_cells"])+    hi = int(manifest["max_cells"])++    a_entry, b_entry, t = view_io.interp_bracket(manifest)+    stage_a = view_io.read_stage(view, a_entry, genes)++    if b_entry is None:+        # No bracket: copy the anchor stage (stratified subsample to the limits).+        n = clip_n(stage_a.n, lo, hi)+        idx = take(stage_a.labels, n, rng)+        expr = stage_a.X[idx]+        coords = np.asarray(stage_a.coords)[idx]+        view_io.write_prediction(expr, genes, args.out, coords=coords.astype(np.float64), seed=seed)+        return++    stage_b = view_io.read_stage(view, b_entry, genes)+    t = float(t)+    n_a, n_b = stage_a.n, stage_b.n++    aligned_a, aligned_b, _info = align_pair(stage_a.coords, stage_b.coords, stage_a.labels, stage_b.labels, align)+    rms_a = rms_radius(stage_a.coords)+    rms_b = rms_radius(stage_b.coords)+    target_rms = log_interp(rms_a, rms_b, t, scale_damp)+    ca = scale_to_rms(aligned_a, target_rms)+    cb = scale_to_rms(aligned_b, target_rms)++    n_out = interp_count(n_a, n_b, t, lo, hi, count_damp)+    labels_pool = np.concatenate([stage_a.labels, stage_b.labels])+    X_pool = sparse.vstack([stage_a.X, stage_b.X]).tocsr()+    coords_pool = np.vstack([ca, cb])++    if select_mode == "random":+        ia, ib = mix_indices(stage_a.labels, stage_b.labels, t, n_out, rng)+        sel = np.concatenate([ia, n_a + ib]).astype(int)+    else:+        ja, jb = _joint_latent([stage_a, stage_b], [ca, cb], pca_dim, geom_w)+        tree_b = cKDTree(jb)+        _, match = tree_b.query(ja, k=1)+        z_mid = (1.0 - t) * ja + t * jb[match]+        n_sel_b = int(np.clip(round(t * n_out), 0, n_out))+        n_sel_a = n_out - n_sel_b+        picks = []+        for side, tree, offset, k_sel in ((ja, cKDTree(ja), 0, n_sel_a), (jb, tree_b, n_a, n_sel_b)):+            if k_sel <= 0:+                continue+            dist, idx = tree.query(z_mid, k=1)+            order = np.lexsort((idx.ravel(), dist.ravel()))+            chosen = []+            seen = set()+            for j in order:+                i = int(idx.ravel()[j])+                if i in seen:+                    continue+                seen.add(i)+                chosen.append(i + offset)+                if len(chosen) >= k_sel:+                    break+            if len(chosen) < k_sel:+                have = np.zeros(side.shape[0], dtype=bool)+                have[np.array(chosen, dtype=int) - offset] = True+                rest = np.flatnonzero(~have)+                extra = rng.choice(rest, size=k_sel - len(chosen), replace=False)+                chosen.extend((extra + offset).tolist())+            picks.append(np.array(chosen, dtype=int))+        sel = np.sort(np.concatenate(picks)) if picks else np.array([], dtype=int)++    expr = X_pool[sel]+    coords = scale_to_rms(coords_pool[sel], target_rms)+    view_io.write_prediction(expr, genes, args.out, coords=coords.astype(np.float64), seed=seed)+++if __name__ == "__main__":+    main()

调研来源?调研员查到并用到的知识条目和文献检索结果（只列标题和编号）。

用到的知识库条目

分析结果?分析员写的 ANALYSIS.json：改了什么、各组分数怎么变、假设是否成立、经验和下一步建议。

对话摘要?每个角色和大模型对话的统计：轮数、工具调用、用时、token 数和最后的回答摘录；原始记录只给路径。

只给统计和最后回答的摘录；完整对话请到原始记录位置里列出的文件看。

分析员

ANALYSIS.json written

工程师

完成。总结：

- **做了什么**：从零实现 T2EI-03（PLAN 指定家族）——表达 PCA30 + 刚体不变几何（kNN 距离、主轴投影）联合 latent 中 a→b 配对、按 t 取中点，双侧各取距中点最近的真实细胞按 (1−t):t 输出；坐标 procrustes3d + 阻尼 log-RMS 缩放；含机制关对照（SELECT_MODE=random）。修了两个工程问题：本机 BLAS 多线程导致 SVD 慢 20 倍（改单线程 + 协方差 eigh），以及 PLAN 原始解码退化为恒等（全取 a 侧自己），改为双侧中点最近选取。
- **查分**（proxy A 半，4 次）：机制开 GEOM_W=1 = **49.46**；GEOM_W=0 = 47.58；机制关 random 混抽 = **56.42**（≈节点 2 mix，验证管线正确）。机制生效但有害：中点最近选取挑出两云边界离群细胞，邻域 skill 掉到 0.43（<地板），结构门再把形状组从 75 打到 64。
- **下一步最值得试**：不要再按"距中点 latent 最近"选细胞；若续此家族应软化选择（大 τ 采样趋近随机）或限型内选取。更高价值方向仍是节点 13 的管线（mix + 类型级收敛位移 + 各向异性整形），cell_state 的提升应来自表达位移而非细胞选择。

调研员

re jointly intermediate in expression and geometry, preserving expression-position pairing.

```json
{"name": "T2EI-03 联合表达-几何latent选取中间态真实细胞",
 "motivation": "当前最佳节点13的cell_state=50.31为四组最弱；mix基线（节点2）cell_state仅37.49，说明随机混抽无法逼近中间态分布（事实4）。T2EI-03通过在表达+刚体不变几何的联合latent中插值、再取最近真实细胞解码，让输出细胞同时在表达和空间上处于中间，有望将cell_state提升至55+，同时因输出真实细胞保住local_spatial（预期52-55，参照事实3）。",
 "approach": "步骤：1）载入a/b两阶段，procrustes3d对齐坐标；2）联合特征构建：对合并表达矩阵做PCA取前30维，对每个细胞计算3D空间中15近邻平均距离（刚体不变），再计算坐标云PCA前3轴上的归一化投影位置；各特征z-score标准化后拼接为joint feature（几何权重w=1.0，环境变量T2EI03_GEOM_W）；3）阶段间配对：a侧每个细胞在joint latent中找b侧最近邻（贪心，O(n·m)足够）；4）插值：对每对匹配，z_interp=(1-t)·z_a+t·z_b，t由视图时间决定（proxy t=0.5）；5）解码：每个z_interp在全部真实细胞（两阶段合并）的joint latent中找最近邻，取该细胞的原始表达+坐标；去重（同一真实细胞只输出一次），若去重后不足则补随机抽样；6）坐标RMS缩放至目标（复用mix的scale_damp逻辑）；7）输出。参数初值：PCA_dim=30，kNN_k=15，GEOM_W=1.0，搜索范围GEOM_W∈{0,0.5,1.0,2.0}。单输入阶段退路：若视图只有一个输入阶段，直接copy_last。vec-score快筛：先GEOM_W=0（纯表达latent）跑一次作为内部对照，再GEOM_W=1.0，比较cell_state组两项原始值（mmd_u、variogram）是否下降。",
 "expected_groups": ["cell_state"],
 "risks": "1）几何特征可能噪声大或信息量不足，联合latent选出的细胞与纯表达选择无差异→Engineer应比较GEOM_W=0 vs 1.0时mmd_u是否变化，若完全相同则几何未起作用；2）输出限于两阶段真实细胞，若中间态存在新细胞状态则无法捕获，cell_state上限受限→观察mmd_u是否仍高于地板；3）贪心配对+最近邻解码可能导致输出细胞偏向某一阶段→检查输出中a/b侧细胞比例是否接近(1-t,t)；4）30分钟时限：PCA+kNN+最近邻在5000细胞上应<1分钟，风险低。",
 "family_id": "T2EI-03",
 "mechanism": "在表达PCA+刚体不变局部几何（kNN距离、归一化主轴位置）构成的联合latent中，对两阶段配对细胞做线性插值得到目标latent点，再将每个目标点解码为最近的真实细胞（表达+坐标一起取），使输出细胞群体在表达和空间上同时趋近中间态。",
 "vs_constant_shift": "常数位移对某型所有细胞施加同一表达向量，不改变输出哪些细胞；本方法不修改任何细胞的表达值或坐标，而是通过在联合latent中的插值-解码过程决定输出哪些真实细胞，选择标准同时依赖表达和几何，产生组成层面的变化而非数值位移。",
 "mechanism_evidence": "1）GEOM_W=1.0 vs GEOM_W=0时选出的细胞集合应有显著差异（Jaccard<0.9）；2）cell_state组（mmd_u、variogram）应比mix基线（节点2：mmd_u 0.01657, variogram 0.02952）明显改善；3）local_spatial（neighborhood_mmd）应保持在52-55区间（输出真实细胞、配对完好）；4）输出细胞的a/b侧比例应接近(1-t):t。",
 "mechanism_off_control": "设T2EI03_GEOM_W=0且T2EI03_SELECT_MODE=random：跳过joint latent配对与插值，直接按(1-t,t)比例随机混抽两阶段细胞（复现节点2 mix行为）。预期：cell_state回落到37-40，local_spatial保持52-55；若关闭后分数与开启无差异，说明几何引导选择未生效。"}
```