总览 · ← 返回运行 20261002-034201-search-t1-abc-r1-B-population

节点 n16

最新官方阶段分层抽样复制 + 名称组成重加权（心脏×1.3、内皮×1.3、NT/SE 丢弃、旁轴×0.1）+ 反向组成趋势外推（GAMMA=-2.5，仅词表可比多阶段视图）；表达值默认不改，EB 收缩位移已实现但实测无效默认关闭。

方法说明?节点程序自带的 METHOD.md：这个程序做了什么、为什么。

来自 programs.git 847c8a4915:solution/METHOD.md

调研员的计划

代码改动?这个节点的程序和父节点程序的逐行差别：绿色是新增，红色是删除。

对比：这个提交的上一版（种子程序：相对空仓库）。改动的文件：solution/METHOD.md +36 −0、solution/run.py +194 −0

diff --git a/solution/METHOD.md b/solution/METHOD.mdnew file mode 100644index 0000000..121f746--- /dev/null+++ b/solution/METHOD.md@@ -0,0 +1,36 @@+最新官方阶段分层抽样复制 + 名称组成重加权（心脏×1.3、内皮×1.3、NT/SE 丢弃、旁轴×0.1）+ 反向组成趋势外推（GAMMA=-2.5，仅词表可比多阶段视图）；表达值默认不改，EB 收缩位移已实现但实测无效默认关闭。++## 方法++1. **基座**：只用官方输入阶段（`inputs_by_time(include_external=False)`），最新者为输出基座；proxy2 的 Qiu E9.0 外部阶段从不作输出（node 2/3 教训）。无官方输入时才用外部阶段（本榜不会出现）。+2. **组成重加权**（按细胞类型名，仅当官方词表出现时触发；X3 心脏词表不匹配自动跳过）：+   - `Neural Tube` ×0、`Surface Ectoderm` ×0（丢弃）；`Paraxial Mesoderm` ×0.1；+   - 心脏谱系 {AVC-CM, IFT-CM, OFT/RV-CM, SV-CM, aSHF, pSHF, Pericardium} ×1.3；+   - `Endothelium` ×1.3（本节点实测：×1.3 比 ×1.0 高 +1.3 分，×2.0 回落 −0.5，×0.3 崩 −5.8）。+3. **反向组成趋势外推**：仅当 prev/last 两官方阶段类型词表 Jaccard≥0.5（X3 的 E8.75→E9.0 满足；proxy 单阶段、proxy2 官方/外部词表不可比 → 自动关闭）。配额 w_c = p_last(c) · (p_last/p_prev)^GAMMA，GAMMA=-2.5。实测 X3：-1.2→51.3，-2.5→53.6，-3.2→53.6，-4→53.4；加法差值形式 w=p_last·(1+γΔp) 更差（52.3）。+4. **抽样**：配额按最大余数法取整，型内有放回/无放回按 `view_io.sample_rows`，n=3000（夹到 [min_cells, max_cells]），`np.random.default_rng(seed)` 全程确定。+5. **EB 逐基因收缩伪批量位移（已实现，默认 α=0 关闭）**：按同名类型配对 prev/last，log1p 空间 delta，矩估计 tau²（改用 0.9 分位数），B=tau²/(tau²+SE²)，x_new=expm1(x+αB·delta) 截断 top-1500 基因。实测 X3 上 E8.75→E9.0 的 delta 太小（mean|d|≈0.01 log 单位），90% 基因 d²<SE²，tau² 估计为 0，位移为空、输出与 α=0 完全一致；α=0.2/2 均无效果。与 node 2/4「X3 上任何位移掉分」结论一致，故默认关闭。代码保留，`VEC_ALPHA` 环境变量可开。++## 生物学知识来源++- 心脏谱系类型名单与 E9.5 后类型改名关系（Neural Tube/Surface Ectoderm 在心脏取样中占比下降、心脏谱系随发育扩张）来自任务书方法卡的公开谱系知识，不依赖禁窗测量数据。+- 所有权重（×1.3、×0.1、GAMMA=-2.5）均由替代评测查分选出，不含任何保留阶段统计量硬编码；程序全部从视图输入现场计算比例。++## 查分记录（A 半）++| 配置 | proxy | X3 |+|---|---|---|+| 宽心脏集（含 Endocardium/Proepicardium/V-CM 等） | 55.36 | - |+| 窄心脏集（A） | 55.89 | - |+| 窄心脏 + Endothelium×1.3（C，**最终**） | **57.23** | - |+| 窄心脏 + Endothelium×2.0（D） | 56.69 | - |+| 趋势 GAMMA -1.2/-2.5/-3.2/-4（α=0） | - | 51.29/**53.59**/53.59/53.40 |+| EB 位移 α=0.2/2（X3） | - | 51.29（无效果） |++预计节点分 ≈ (57.23+57.23+53.59)/3 ≈ 56.0。++## 未验证++- final 视图（E8.5+E9.5→E10.5）：趋势外推会触发（词表部分可比），GAMMA=-2.5 是在 X3 心脏数据上选的，对官方两阶段是否最优未验证；名称权重针对 proxy（目标 E9.5）调，E10.5 上 Endothelium×1.3 可能过时（方法卡称其 E10.5 已改名）。+- 细胞数 n=3000 未扫描；EB 位移在 final 的 E8.5→E9.5（间隔更大、delta 更可信）上未测。+- proxy2 与 proxy 输出完全相同（外部阶段不参与），分数应一致。diff --git a/solution/run.py b/solution/run.pynew file mode 100644index 0000000..146f6b3--- /dev/null+++ b/solution/run.py@@ -0,0 +1,194 @@+"""T1 draft: EB-shrunk pseudobulk delta shift + composition reweight + reverse trend extrapolation.++Base population: latest *official* input stage (external stages never used as output base),+stratified sampling by celltype with quotas from:+  1) reverse composition-trend extrapolation (multi-stage views with comparable label vocab),+  2) cardiac-anatomy name-based multipliers (only fires when official type names present).+Expression: optional empirical-Bayes per-gene shrunk pseudobulk delta (prev->last official),+applied in log1p space to matched-type cells, restricted to genes covered in both stages.+"""+import argparse+import os++import numpy as np+import scipy.sparse as sparse++from src.task1_temporal import view_io++ALPHA = float(os.environ.get("VEC_ALPHA", "0.0"))   # delta shift strength (0 disables)+GAMMA = float(os.environ.get("VEC_GAMMA", "-2.5"))  # reverse composition trend exponent+N_OUT = 3000+TOPK_SHIFT = 1500  # max genes shifted (keeps output sparse)++CARDIAC = {"AVC-CM", "IFT-CM", "OFT/RV-CM", "SV-CM", "aSHF", "pSHF", "Pericardium"}+NAME_MULT = {"Neural Tube": 0.0, "Surface Ectoderm": 0.0, "Paraxial Mesoderm": 0.1, "Endothelium": 1.3}+++def stage_stats(X, idx):+    """Per-gene mean and var of X[idx] (CSR, log space)."""+    n = len(idx)+    sub = X[idx]+    s = np.asarray(sub.sum(axis=0)).ravel()+    s2 = np.asarray(sub.multiply(sub).sum(axis=0)).ravel()+    mean = s / n+    var = np.maximum(s2 / n - mean ** 2, 0.0)+    return mean, var+++def eb_shift_matrix(Xp, lp, Xl, ll, genes_cover_mask, alpha):+    """Per-type EB-shrunk delta in log space. Returns dict type -> dense shift vector (float32)+    restricted (nonzero) to top-K genes by |shift|."""+    tp = set(lp)+    tl = set(ll)+    shared = sorted(tp & tl)+    if not shared or alpha == 0:+        return {}+    out = {}+    all_resid = []+    per_type = {}+    for c in shared:+        ip = np.flatnonzero(lp == c)+        il = np.flatnonzero(ll == c)+        if len(ip) < 20 or len(il) < 20:+            continue+        mp, vp = stage_stats(Xp, ip)+        ml, vl = stage_stats(Xl, il)+        delta = ml - mp+        se2 = vp / max(len(ip), 1) + vl / max(len(il), 1) + 1e-8+        per_type[c] = (delta, se2)+        all_resid.append(delta ** 2 - se2)+    if not per_type:+        return {}+    resid = np.concatenate(all_resid)+    tau2 = max(float(np.quantile(resid, 0.9)), 0.0)+    if tau2 <= 0:+        return {}+    for c, (delta, se2) in per_type.items():+        B = tau2 / (tau2 + se2)+        shift = (alpha * B * delta).astype(np.float32)+        shift[~genes_cover_mask] = 0.0+        if len(shift) > TOPK_SHIFT:+            keep = np.argpartition(np.abs(shift), TOPK_SHIFT)[:TOPK_SHIFT]+            m = np.zeros_like(shift, dtype=bool)+            m[keep] = True+            m &= np.abs(shift) > 1e-3+            shift = shift * m+        out[c] = shift+    return out+++def apply_shift(X, labels, shifts):+    """X: CSR (n_cells, n_genes) log1p. Apply per-type dense shift to the columns where nonzero."""+    if not shifts:+        return X+    Xd = np.asarray(X.todense(), dtype=np.float64)+    for c, shift in shifts.items():+        cols = np.flatnonzero(shift)+        if cols.size == 0:+            continue+        rows = np.flatnonzero(labels == c)+        if rows.size == 0:+            continue+        sub = Xd[np.ix_(rows, cols)]+        np.expm1(sub + shift[cols][None, :], out=sub)+        np.clip(sub, 0.0, None, out=sub)+        sub[sub < 1e-4] = 0.0+    return sparse.csr_matrix(Xd.astype(np.float32))+++def quotas(weights, n, rng):+    types = list(weights.keys())+    w = np.array([weights[c] for c in types], dtype=float)+    if w.sum() <= 0:+        w = np.ones_like(w)+    w = w / w.sum()+    q = np.floor(w * n).astype(int)+    rem = n - q.sum()+    if rem > 0:+        order = np.argsort(-(w * n - q))+        for i in range(rem):+            q[order[i % len(order)]] += 1+    return {c: int(k) for c, k in zip(types, q) if k > 0}+++def main():+    ap = argparse.ArgumentParser()+    ap.add_argument("--data", required=True)+    ap.add_argument("--out", required=True)+    ap.add_argument("--seed", type=int, default=0)+    args = ap.parse_args()+    rng = np.random.default_rng(args.seed)++    view = args.data+    manifest = view_io.load_manifest(view)+    genes = view_io.panel_genes(view, manifest)++    official = view_io.inputs_by_time(manifest, include_external=False)+    if not official:+        official = view_io.inputs_by_time(manifest, include_external=True)+    base_e = official[-1]+    prev_e = official[-2] if len(official) >= 2 else None++    base = view_io.read_stage(view, base_e, genes, missing="error")+    X = base.X+    labels = view_io.labels_of(base)++    # ---- composition weights ----+    types = sorted(set(labels))+    p_last = {c: float((labels == c).mean()) for c in types}+    w = dict(p_last)++    if prev_e is not None:+        prev = view_io.read_stage(view, prev_e, genes, missing="fill")+        pl = view_io.labels_of(prev)+        p_prev_types = set(pl)+        overlap = len(p_prev_types & set(types)) / max(len(p_prev_types | set(types)), 1)+        if overlap >= 0.5:  # comparable vocab -> reverse trend extrapolation+            pprev = {c: float((pl == c).mean()) for c in p_prev_types}+            eps = 1e-3+            for c in types:+                r = (p_last[c] + eps) / (pprev.get(c, 0.0) + eps)+                w[c] = p_last[c] * r ** GAMMA+        # ---- EB delta shift ----+        if ALPHA > 0:+            cov = base.var["covered"].to_numpy(dtype=bool) & prev.var["covered"].to_numpy(dtype=bool)+            shifts = eb_shift_matrix(prev.X, pl, X, labels, cov, ALPHA)+        else:+            shifts = {}+        del prev+    else:+        shifts = {}++    # ---- name-based anatomy multipliers (official vocab only) ----+    if set(NAME_MULT) & set(types):+        for c in types:+            m = NAME_MULT.get(c, 1.3 if c in CARDIAC else 1.0)+            w[c] = w[c] * m++    w = {c: v for c, v in w.items() if v > 0}+    if not w:+        w = {c: 1.0 for c in types}++    n = int(np.clip(N_OUT, manifest["min_cells"], manifest["max_cells"]))+    q = quotas(w, n, rng)++    rows = []+    for c, k in q.items():+        idx = np.flatnonzero(labels == c)+        rows.append(idx[view_io.sample_rows(len(idx), k, rng)])+    rows = np.sort(np.concatenate(rows))++    Xs = X[rows]+    ls = labels[rows]+    if shifts:+        Xs = apply_shift(Xs, ls, shifts)++    coords = None+    if manifest.get("needs_coords") and "spatial_3D" in base.obsm:+        coords = np.asarray(base.obsm["spatial_3D"])[rows]++    view_io.write_prediction(Xs, genes, args.out, coords=coords, seed=args.seed)+++if __name__ == "__main__":+    main()

调研来源?调研员查到并用到的知识条目和文献检索结果（只列标题和编号）。

用到的知识库条目

分析结果?分析员写的 ANALYSIS.json：改了什么、各组分数怎么变、假设是否成立、经验和下一步建议。

对话摘要?每个角色和大模型对话的统计：轮数、工具调用、用时、token 数和最后的回答摘录；原始记录只给路径。

只给统计和最后回答的摘录；完整对话请到原始记录位置里列出的文件看。

分析员

ANALYSIS.json written

工程师

完成。最终状态确认：

**做了什么**：从头写了「官方最新阶段分层抽样复制 + 名称组成重加权（心脏×1.3、Endothelium×1.3、NT/SE 丢弃、Paraxial×0.1）+ 反向组成趋势外推（ratio 形式，GAMMA=-2.5，仅词表可比的多阶段视图触发）」。PLAN 里的 EB 逐基因收缩位移已实现但实测无效：X3 上 E8.75→E9.0 的 delta 太小（90% 基因 d²<SE²，tau²=0），α=0.2/2 输出与 α=0 完全一致，默认关闭（与 node 2/4 结论一致）。

**查分**（9 次，A 半）：proxy = proxy2 = **57.23**（超 node 12 的 57.09，Endothelium×1.3 是关键 +1.3），X3 = **53.59**（GAMMA=-2.5/-3.2 平台）。预计节点分 ≈ **56.0**。三视图 vec-check 通过，seed 确定。

**下一步最值得试**：① X3 卡在 53.6，node 11 的心脏进展签名倾斜（β≈0.23）+ 更强 GAMMA 组合曾到 55.29，值得与本重加权方案合并；② final 视图上 E8.5→E9.5 间隔更大，EB 位移（矩估计换成分位数 tau²、限制 top-DE 基因）可能在真实任务上首次有效，需单独验证；③ de_recovery（52.5）仍是最弱组，纯复制表达的方案上限就在这，需要真正改表达的机制突破。

调研员

```json
{
  "name": "经验贝叶斯逐基因收缩伪批量位移 + 组成重加权",
  "motivation": "de_recovery 是所有 top 节点最弱分组（node12: 53.02, node14: 52.34），比 cell_state（58.53/58.09）低 5+ 分。已有方法全部不修改表达值，无法改善 DE 方向信号。node1 官方 pseudobulk_shift（α=1）仅 39.34，node2 乘法式 α=0 最优，说明全量/均匀位移有害。但逐基因经验贝叶斯收缩（只移可靠差值基因）是未试过的机制，可在不破坏协方差结构的前提下改善 de_recovery 和 direction。",
  "approach": "1) 输入判断：view_io.inputs_by_time 返回 2 个阶段时走位移路径（proxy2、X3、final）；仅 1 个阶段（proxy）退化为纯组成重加权 copy_last。\n2) 位移路径：a) 按同名类型配对 prev/last；b) 对每型每基因在 log1p 空间算 delta_g,c = mean(last|c) − mean(prev|c)；c) 估 SE_g,c = sqrt(var_last/n_last + var_prev/n_prev)；d) 方法矩估全局先验方差 tau² = median(delta² − SE², 0)；e) 收缩因子 B = tau²/(tau²+SE²)；f) shrunk_delta = B·delta；g) x_new = expm1(log1p(x) + α·shrunk_delta)，clip≥0。α 初值 0.15，扫描 {0, 0.1, 0.2, 0.3}，以 X3 vec-score 选优（proxy 无差值测不出 α）。\n3) 仅在 last 出现的新类型：保持原样不位移。\n4) 组成重加权（所有路径均用）：心脏谱系×1.3、Paraxial×0.1、Neural Tube/Surface Ectoderm×0、其余×1.0，分层有放回抽样 n=3000。\n5) 快速筛选：先在 X3 上跑 α 扫描（4 次查分），确认最佳 α 后再跑 proxy 验证不退化；总查分≤8 次。\n6) 单阶段退路：proxy 无 prev，delta 不存在，直接跳到步骤 4，等价于组成重加权 copy_last（预期 proxy≈53-55）。",
  "expected_groups": ["de_recovery", "direction"],
  "risks": "1) α=0 仍然最优（与 node2 结论一致）：Engineer 若发现 α 扫描中 0 分最高，应提交 α=0 版本（等价纯组成重加权），不强行用非零 α。2) 逐基因收缩后有效位移基因太少，de_recovery 改善<噪声：用 3 次查分确认方向一致性。3) proxy 只有组成重加权，分数上限~55，整体受限于 proxy 拖累：接受此局限，本节点价值在验证位移机制。4) 内存/时间：3000 细胞×32285 基因的逐基因方差计算量小，预计 <5s，无风险。"
}
```

审查员

REVIEW.json written