总览 · ← 返回运行 20261002-034201-search-t1-abc-r1-A-era

节点 n16

组成重加权（类型层增殖↓ × 细胞层核OXPHOS−糖酵解↑，E-S 加权无放回抽样）+ 可选的按类型 EB 收缩伪批量位移（默认 α=0，实测在 X3 上有害）。

方法说明?节点程序自带的 METHOD.md：这个程序做了什么、为什么。

来自 programs.git ae7c6f7149:solution/METHOD.md

调研员的计划

代码改动?这个节点的程序和父节点程序的逐行差别：绿色是新增，红色是删除。

对比：这个提交的上一版（种子程序：相对空仓库）。改动的文件：solution/METHOD.md +32 −0、solution/run.py +223 −0

diff --git a/solution/METHOD.md b/solution/METHOD.mdnew file mode 100644index 0000000..e78d5d2--- /dev/null+++ b/solution/METHOD.md@@ -0,0 +1,32 @@+组成重加权（类型层增殖↓ × 细胞层核OXPHOS−糖酵解↑，E-S 加权无放回抽样）+ 可选的按类型 EB 收缩伪批量位移（默认 α=0，实测在 X3 上有害）。++## 方法++1. **基底**：最新官方输入阶段的细胞；无官方阶段（如 X3 全外部输入）时用最新输入。外部阶段永不作基底。+2. **组成重加权**（默认开启）：+   - 类型层：每个 celltype 的增殖基因（Mki67/Top2a/Cdk1 等 26 个周期基因）平均表达 → 类型间 z 分 → w_type=exp(−0.55·z)。+   - 细胞层：代谢成熟度 = 核编码 OXPHOS 基因均值 − 糖酵解基因均值，每细胞 z 分 → w_cell=exp(+1.2·z)。+   - w=w_type·w_cell，Efrimidis-Spirakis（key=log(u)/w 取 top-n）无放回加权抽样至 target_n_cells。表达值原样复制。+3. **EB 收缩位移**（默认 ALPHA_SHIFT=0，代码保留，环境变量 VEC_ALPHA_SHIFT 开启）：两输入阶段共享 celltype 标签时，对每类型每基因算 log 伪批量差 delta 及抽样方差 v=var/n 之和，全局先验 tau2=median(delta²)，收缩 s=delta·tau2/(tau2+v)，按 α·s 平移该类型细胞并 clip≥0；外部阶段补齐(filled)的基因不位移。++## 关键参数++ALPHA_P=0.55（类型层增殖，沿方向库节点12），ALPHA_M=1.2（细胞层代谢），ALPHA_SHIFT=0（默认关）。++## 验证过（vec-score，A 半）++- proxy：完整重加权 = **56.99**（direction 59.1, cell_state 58.2, de_recovery 55.8, covariation 54.1）。+- **关键实测：OXPHOS 列表去掉线粒体基因（mt-Co1 等 8 个）后 proxy 从 52.31 → 56.99**——mt 基因均值反映技术质量而非成熟度，是强噪声轴。+- E-S 抽样方向：key=log(u)/w 必须取**最大** n 个；取最小会把权重反向（实测 proxy 掉到 40.2）。+- X3（E8.75→E9.0 差值可用）：α=0.15 → 49.58，α=0.05 → 49.78，均低于不位移（X3 的 de 指标在 A 半恒为 0，位移只伤 covariation），故默认 α=0。+- proxy2 与 proxy 输入基底相同（官方 E8.5），Qiu E9.0 外部阶段与官方类型无共享标签，位移自动跳过，输出与 proxy 一致。++## 没验证++- proxy 单阶段无法验证位移；位移仅在 X3 上测过且有害，final（E8.5+E9.5 官方两阶段、共享标签）上 α>0 的效果未测——这是后续 improve 最值得试的方向（小 α + 只对高置信类型）。+- ALPHA_P/ALPHA_M 未重扫（沿用节点12值）；去 mt 后最优系数可能偏移。+- 类型层 z 在类型数很少时（X3 只有 3 型）退化为噪声，靠 n_out=n_in 全保留回避。++## 生物学知识来源++仅通用基因功能注释（细胞周期、OXPHOS/糖酵解通路成员，Reactome/GO 常识级），无保留阶段/基因型信息；未使用 uns.celltype_palette、未读任何禁窗数据。diff --git a/solution/run.py b/solution/run.pynew file mode 100644index 0000000..7aebd81--- /dev/null+++ b/solution/run.py@@ -0,0 +1,223 @@+"""T1 draft: composition reweighting (proliferation-down x metabolism-up) + EB-shrunk per-type pseudobulk shift.++- Base cells: latest official input stage (external stages never used as base; if no+  official stage exists, e.g. external test boards, latest input is used).+- Reweighting: type-level proliferation downweight exp(-ALPHA_P*z) x cell-level+  metabolism (OXPHOS - glycolysis) upweight exp(+ALPHA_M*z), Efrimidis-Spirakis+  weighted sampling without replacement.+- Shift: when two input stages share cell-type labels (same dataset family), compute+  per-type per-gene log pseudobulk delta with empirical-Bayes shrinkage and apply+  ALPHA_SHIFT * delta to base cells of that type, clipped at 0. Otherwise skip.+"""++import argparse+import json+import os+from pathlib import Path++import numpy as np+import scipy.sparse as sp++import src.task1_temporal.view_io as vio++PROLIF = [+    "Mki67", "Top2a", "Cdk1", "Ccnb1", "Ccnb2", "Bub1", "Plk1", "Aurkb", "Birc5",+    "Cdca8", "Cenpf", "Cenpe", "Kif11", "Kif23", "Racgap1", "Prc1", "Ndc80",+    "Nusap1", "Ube2c", "Anln", "Cdc20", "Foxm1", "Hmmr", "Tubb5", "Ccnf", "Tk1",+]+OXPHOS = [+    "Ndufa1", "Ndufa4", "Ndufb3", "Ndufb8", "Sdha", "Sdhb", "Uqcrc1", "Uqcrc2",+    "Uqcrb", "Cox4i1", "Cox5a", "Cox5b", "Cox6c", "Cox7c", "Cox8a", "Atp5a1",+    "Atp5b", "Atp5c1", "Atp5d", "Atp5e", "Atp5f1e", "Atp5g1", "Atp5g2", "Atp5h",+    +]+GLYC = [+    "Hk1", "Hk2", "Gpi1", "Pfkl", "Pfkp", "Aldoa", "Aldoc", "Tpi1", "Gapdh",+    "Pgk1", "Pgam1", "Eno1", "Eno2", "Eno3", "Pkm", "Ldha", "Slc2a1", "Slc2a3",+]++ALPHA_P = float(os.environ.get("VEC_ALPHA_P", "0.55"))+ALPHA_M = float(os.environ.get("VEC_ALPHA_M", "1.2"))+ALPHA_SHIFT = float(os.environ.get("VEC_ALPHA_SHIFT", "0.0"))+MIN_CELLS_TYPE = 8+Z_CLIP = 3.0+++def _zscore(x):+    x = np.asarray(x, dtype=np.float64)+    s = x.std()+    if not np.isfinite(s) or s < 1e-12:+        return np.zeros_like(x)+    return np.clip((x - x.mean()) / s, -Z_CLIP, Z_CLIP)+++def _gene_idx(genes, names):+    pos = {g: i for i, g in enumerate(genes)}+    return np.array([pos[n] for n in names if n in pos], dtype=np.int64)+++def _subset_scores(X, idx):+    """Mean expression per cell over gene subset (dense-safe via sparse slicing)."""+    if len(idx) == 0:+        return np.zeros(X.shape[0])+    sub = X[:, idx]+    return np.asarray(sub.mean(axis=1)).ravel() / max(len(idx), 1) * sub.shape[1] / sub.shape[1]+++def _cell_means(X, idx):+    if len(idx) == 0:+        return np.zeros(X.shape[0])+    sub = X[:, idx]+    return np.asarray(sub.mean(axis=1)).ravel()+++def _type_stats(X, labels):+    """Per-type mean/var (of log values) and counts, dense-column-wise in blocks."""+    types = sorted(set(labels.tolist()))+    t2i = {t: i for i, t in enumerate(types)}+    ti = np.array([t2i[t] for t in labels.tolist()])+    n_genes = X.shape[1]+    n_t = len(types)+    counts = np.bincount(ti, minlength=n_t).astype(np.float64)+    Xc = X.tocsr().astype(np.float64)+    mean = np.zeros((n_t, n_genes))+    sq = np.zeros((n_t, n_genes))+    for t in range(n_t):+        rows = np.where(ti == t)[0]+        if len(rows) == 0:+            continue+        block = np.asarray(Xc[rows].todense())+        mean[t] = block.mean(axis=0)+        sq[t] = (block ** 2).mean(axis=0)+    var = np.maximum(sq - mean ** 2, 0.0)+    return types, ti, counts, mean, var+++def compute_shift(view, manifest, genes, base_entry, inputs):+    """Per-type EB-shrunk log delta from a prior stage sharing cell-type labels."""+    # candidate prior stage: latest input strictly before base with same source-kind+    base_t = base_entry["time"]+    base_ext = vio.is_external(base_entry)+    cands = [e for e in inputs if e["time"] < base_t and vio.is_external(e) == base_ext]+    if not cands:+        return None+    prev_entry = cands[-1]+    a_prev = vio.read_stage(view, prev_entry, genes)+    a_base = vio.read_stage(view, base_entry, genes)+    lab_prev = vio.labels_of(a_prev)+    lab_base = vio.labels_of(a_base)+    shared = set(lab_prev.tolist()) & set(lab_base.tolist())+    if not shared:+        return None+    Xp = a_prev.X.tocsr().astype(np.float64)+    Xb = a_base.X.tocsr().astype(np.float64)+    tp, tip, cp, mp, vp = _type_stats(Xp, lab_prev)+    tb, tib, cb, mb, vb = _type_stats(Xb, lab_base)+    ip = {t: i for i, t in enumerate(tp)}+    covered = np.ones(len(genes), dtype=bool)+    for a in (a_prev, a_base):+        if "covered" in a.var.columns:+            covered &= a.var["covered"].to_numpy().astype(bool)+    delta = np.zeros((len(genes),))+    used = {}+    all_d2 = []+    per_type = {}+    for t in shared:+        i, j = ip[t], tb.index(t)+        if cp[i] < MIN_CELLS_TYPE or cb[j] < MIN_CELLS_TYPE:+            continue+        d = mb[j] - mp[i]+        v = vb[j] / max(cb[j], 1) + vp[i] / max(cp[i], 1)+        per_type[t] = (d, v)+        all_d2.append(d ** 2)+    if not per_type:+        return None+    tau2 = float(np.median(np.concatenate(all_d2)))+    tau2 = max(tau2, 1e-8)+    shifts = {}+    for t, (d, v) in per_type.items():+        s = d * (tau2 / (tau2 + np.maximum(v, 0.0)))+        s[~covered] = 0.0+        shifts[t] = s.astype(np.float32)+        used[t] = int((tib == tb.index(t)).sum())+    return {"shifts": shifts, "types": sorted(used)}+++def main():+    ap = argparse.ArgumentParser()+    ap.add_argument("--data", required=True)+    ap.add_argument("--out", required=True)+    ap.add_argument("--seed", type=int, default=0)+    args = ap.parse_args()+    view = args.data+    rng = np.random.default_rng(args.seed)++    manifest = vio.load_manifest(view)+    genes = vio.panel_genes(view, manifest)+    inputs = vio.inputs_by_time(manifest)+    official = [e for e in inputs if not vio.is_external(e)]+    base_entry = official[-1] if official else inputs[-1]+    adata = vio.read_stage(view, base_entry, genes)+    X = adata.X.tocsr().astype(np.float32)+    labels = vio.labels_of(adata)++    # --- expression shift (only if a comparable prior stage exists) ---+    sh = None+    if ALPHA_SHIFT > 0 and len(inputs) >= 2:+        try:+            sh = compute_shift(view, manifest, genes, base_entry, inputs)+        except Exception:+            sh = None+    if sh is not None:+        X = X.tocsr(copy=True)+        for t, s in sh["shifts"].items():+            rows = np.where(labels == t)[0]+            s64 = s.astype(np.float64)+            for c0 in range(0, len(rows), 1024):+                rr = rows[c0:c0 + 1024]+                block = np.asarray(X[rr].todense(), dtype=np.float64)+                block = np.clip(block + ALPHA_SHIFT * s64[None, :], 0.0, None)+                X[rr] = sp.csr_matrix(block.astype(np.float32))+        X.eliminate_zeros()++    # --- composition reweighting ---+    idx_p = _gene_idx(genes, PROLIF)+    idx_o = _gene_idx(genes, OXPHOS)+    idx_g = _gene_idx(genes, GLYC)+    prolif = _cell_means(X, idx_p)+    metab = _cell_means(X, idx_o) - _cell_means(X, idx_g)++    types = sorted(set(labels.tolist()))+    t2i = {t: i for i, t in enumerate(types)}+    ti = np.array([t2i[t] for t in labels.tolist()])+    # type-level proliferation z+    tp_mean = np.zeros(len(types))+    for i in range(len(types)):+        m = ti == i+        tp_mean[i] = prolif[m].mean() if m.any() else 0.0+    z_t = _zscore(tp_mean)+    z_m = _zscore(metab)+    logw = -ALPHA_P * z_t[ti] + ALPHA_M * z_m+    w = np.exp(np.clip(logw, -12, 12))+    w = np.maximum(w, 1e-9)++    n_out = vio.target_n_cells(manifest, X.shape[0])+    if n_out >= X.shape[0]:+        keep = np.arange(X.shape[0])+    else:+        u = rng.random(X.shape[0])+        u = np.clip(u, 1e-12, 1.0)+        keys = np.log(u) / w  # E-S: larger key = higher priority+        keep = np.argsort(-keys, kind="stable")[:n_out]+        keep = np.sort(keep)++    X_out = X[keep].astype(np.float32)+    Path(args.out).parent.mkdir(parents=True, exist_ok=True)+    vio.write_prediction(X_out, genes, args.out, seed=args.seed)+    info = {"base": base_entry["stage"], "n_in": int(X.shape[0]), "n_out": int(len(keep)),+            "shift_types": (sh["types"] if sh else None)}+    print(json.dumps(info))+++if __name__ == "__main__":+    main()

调研来源?调研员查到并用到的知识条目和文献检索结果（只列标题和编号）。

用到的知识库条目

分析结果?分析员写的 ANALYSIS.json：改了什么、各组分数怎么变、假设是否成立、经验和下一步建议。

对话摘要?每个角色和大模型对话的统计：轮数、工具调用、用时、token 数和最后的回答摘录；原始记录只给路径。

只给统计和最后回答的摘录；完整对话请到原始记录位置里列出的文件看。

分析员

ANALYSIS.json written

工程师

完成。

- **做了什么**：draft 新程序 = 类型层增殖↓(α_p=0.55) × 细胞层核OXPHOS−糖酵解↑(α_m=1.2) 的 E-S 加权组成重抽样 + 可选按类型 EB 收缩伪批量位移（默认关）。修了两个关键 bug：E-S 取键方向反了（proxy 40.2→修复）；OXPHOS 含 mt 基因是噪声轴（去掉后 proxy 52.3→57.0）。
- **查分**（7 次）：proxy **56.99**，proxy2 输出与 proxy 相同（≈57），X3 位移 α=0.15/0.05 均 <50 故 α=0（≈50）；预期节点分 ≈54.7，三视图 vec-check 全过。
- **下一步最值得试**：在 final 视图（E8.5+E9.5 官方两阶段共享标签）上重测小 α EB 收缩位移；去 mt 后重扫 α_p/α_m；X3 上试类型层轴退化时的细胞层增殖加权。

调研员

{
  "name": "按类型伪批量位移 + 经验贝叶斯基因级收缩（α≤0.3）",
  "motivation": "当前全树最佳（节点9/12，rank3≈55.58）全部属于组成重抽样家族，表达值原样复制。de_recovery（52.78–53.16）和covariation（53.81）是最弱分组。种子节点1（α=1伪批量位移）proxy2仅27.43、X3仅40.53，说明全量位移有害，但方向库T1-02指出收缩后的位移可针对de_recovery和direction。本方案用经验贝叶斯基因级收缩+全局α∈[0.05,0.3]，在保留细胞异方差结构的前提下小幅移动表达均值，是与组成重抽样正交的新家族。proxy单阶段无差值可退化为copy_last，不影响方法正确性。",
  "approach": "步骤：\n1. 读取输入：view_io.inputs_by_time()。若只有一个阶段（proxy），直接执行copy_last（输出=输入），结束。若有两个阶段（proxy2/final），取prev=第一阶段、last=第二阶段。\n2. 按celltype分组，对同时存在于prev和last的类型c，计算每基因伪批量差：delta_gc = mean_log(last|c,g) − mean_log(prev|c,g)。last中新增类型（prev无同名）不做位移，原样复制。\n3. 基因级经验贝叶斯收缩：对每基因g、类型c，估计delta_gc的抽样方差 v_gc = var_log(last|c,g)/n_last_c + var_log(prev|c,g)/n_prev_c。全局先验方差 tau2 = median(所有|delta_gc|^2)（robust估计）。收缩因子 s_gc = delta_gc · tau2/(tau2 + v_gc)。噪声大（细胞少或方差高）的基因位移被压向0。\n4. 全局收缩系数α：effective_shift = α · s_gc。α初始搜索{0.05, 0.10, 0.15, 0.20, 0.30}。因α=1在proxy2得27.43（远低于copy_last 50），预期最优α≤0.2。在proxy2上用vec-score扫α，选A半最优；若proxy2各α均≤50则默认α=0（退化copy_last）。\n5. 应用位移：对last阶段类型c的每个细胞，x_new = clip(x_log + α·s_gc, 0)，转回原始空间输出。不修改细胞数量、不修改类型标签。\n6. 单阶段退路（proxy）：无prev，无法计算delta，直接输出=输入（等价copy_last，预期~50分）。代码用 if len(stages)<2: return copy_last 分支。\n7. 与组成重抽样的组合（可选，若时间允许）：在位移后叠加节点12的类型层增殖α_p=0.55×细胞层代谢α_m=1.2加权抽样。但本次draft先只测纯位移，保持家族独立。\n8. vec-score快速筛选：先在proxy2上扫α（5个值×1次查分=5次），确认有信号后再跑X3和全量。总查分≤10次。",
  "expected_groups": ["de_recovery", "direction"],
  "risks": "1) proxy单阶段退化为copy_last，proxy分固定~50，拉低加权均值（当前最佳proxy=57.70）；Engineer应在第一次查分后确认proxy≈50，若总分无望超55则尽早止损。2) α=1已证有害（27.43），即使α=0.1–0.3仍可能因细胞异方差被破坏而低于copy_last；若proxy2上所有α≤50，立即回退α=0。3) 经验贝叶斯收缩依赖每类型细胞数，稀有类型（<5细胞）的delta不可靠；应对n<5的类型跳过位移。4) X3形式同T1（可能也是单输入），若X3也无两阶段则α在X3上同样无法生效，三把尺子中只有proxy2能测α。5) 30分钟时限内扫5个α值+查分可能紧张，建议只查proxy2选α，最终用该α跑一次全量确认。",
  "sources": []
}