总览 · ← 返回运行 20261001-233756-search-t1-abc-r0-B-population

节点 n19

copy_last(最新官方阶段) + 两级增殖重加权抽样(β_type=-4, β_cell=-1, E-S无放回)；新增 prior/Reactome「Developmental Biology」分化轴实测与基线同分，默认 β_diff=0 关闭，不改表达值。

方法说明?节点程序自带的 METHOD.md：这个程序做了什么、为什么。

来自 programs.git a371e1cbe2:solution/METHOD.md

调研员的计划

代码改动?这个节点的程序和父节点程序的逐行差别：绿色是新增，红色是删除。

对比：父节点版本 b6980f6761。改动的文件：solution/METHOD.md +30 −0、solution/run.py +119 −18

diff --git a/solution/METHOD.md b/solution/METHOD.mdnew file mode 100644index 0000000..aac5b3a--- /dev/null+++ b/solution/METHOD.md@@ -0,0 +1,30 @@+copy_last(最新官方阶段) + 两级增殖重加权抽样(β_type=-4, β_cell=-1, E-S无放回)；新增 prior/Reactome「Developmental Biology」分化轴实测与基线同分，默认 β_diff=0 关闭，不改表达值。++## 方法++1. **基底 copy_last_official**：`inputs_by_time(manifest, include_external=False)` 取最新官方输入阶段（proxy=E8.5，final=E9.5），外部阶段（proxy2 的 Qiu E9.0）永不直接当输出——修复父节点 1 在 proxy2 上 27.43 的崩溃性失分。+2. **两级增殖重加权**（沿用本树已验证机制，节点 4/6/9）：+   - 增殖得分 p_i = 13 个通用细胞周期基因（Mki67/Top2a/Ccnb1/Cdk1/Birc5/Aurkb/Pcna/Mcm2/Ccna2/Bub1/Kif11/Ccnb2/Rrm2，标准细胞生物学知识，非任何保留阶段测量）log1p 表达均值。+   - 类型级：w_type = clip(1 − 4·(p_type − p_global), 0.05, 20)。+   - 细胞级：w_prolif = clip(1 − 1·(p_i − p_type), 0.05, 20)。+3. **分化轴（本节点新增，实测中性）**：从 view 的 `prior/reactome/gene_sets.gmt` 现场读 "Developmental Biology"（516/517 基因在面板内），d_i = 该基因集 log1p 均值；w_diff = clip(1 + β_diff·(d_i − d_type), 0.05, 20)。prior 缺失时回退到硬编码的 20 个早期发育 TF/分化标记（通用发育生物学知识）。+4. **抽样**：w = w_type·w_prolif·w_diff，Efraimidis–Spirakis（keys = log(u)/w 取 top-n）加权无放回抽 target_n_cells 个细胞。**不修改任何表达值**。+5. **退化视图**：无官方阶段（X3）或无 celltype 列 → 最新输入的均匀随机抽样；已验证 X3 输出按其 genes.txt（vec-check ok，X3=50.0，与全树一致）。++## 验证过什么++- 共线性检查：增殖轴与分化轴细胞级 ρ=0.074、类型内 ρ=0.159（<0.8，独立轴）。但分化轴细胞级 std 仅 0.029（增殖轴 0.275），调制幅度小。+- proxy A 半查分（seed 0）：β_diff=0 → **56.27**；−3 → 56.37；+3 → 55.92；−10 → 55.25；+10 → 54.81。β_diff=−3 的 +0.1 在噪声（~2）内；seed 1 复测 base 56.33 vs β_diff=−3 56.31，均值几乎相同 → **β_diff=0 为默认**（机制上等价于已验证的节点 9 加权 + 略不同的周期基因列表）。+- β_cell=−2（seed 0）→ 56.21，与 −1 同分，保留 −1。+- proxy2 → 56.27（与 proxy 相同，因忽略外部输入）；X3 → 50.0。三视图 vec-check 全过，运行 ~2–4s，内存远低于 28GB 限制。+- 预期节点分（A 半）≈ (56.3+56.3+50)/3 ≈ 54.2。++## 没验证什么++- 分化轴对 final（E9.5→E10.5，真实任务）无效用验证：proxy 只有一个官方阶段，两级差值/趋势不可测（方法卡同此警告）。+- de_recovery（~51.5）对抽样权重几乎不敏感，本节点未找到提升它的表达级手段（树内节点 5/10/12/13/15 均报告表达修改净负）。+- 未复现节点 7 的 γ=-0.8 增殖-表达放大（无其代码，风险大于预期收益，未尝试）。++## 合规++不使用任何保留阶段/保留基因型数据；基因集全部现场从 view 的 prior/ 或通用知识列表读取；无硬编码阶段统计量；给定 seed 输出确定（np.random.default_rng(seed)）。diff --git a/solution/run.py b/solution/run.pyindex f3a0f25..0a4b405 100644--- a/solution/run.py+++ b/solution/run.py@@ -1,33 +1,100 @@ #!/usr/bin/env python3-"""pseudobulk_shift: latest stage + per-cell-type pseudobulk delta of the last step.+"""copy_last_official + two-level proliferation reweighting + differentiation-axis reweighting. -The delta is mean(last|type) - mean(prev|type) over the two latest inputs,-computed on the full stages and added once to a subsample of the latest stage-(clipped at 0). Types missing from the earlier stage are copied unchanged.+Base (validated by nodes 2/3/6/9 of this run): always output a deterministic+weighted subsample of the latest OFFICIAL input stage; external stages are+never output directly. Sampling weights (Efraimidis-Spirakis, no replacement): -With a single input stage (T1 proxy: E8.5 only) there is no step to take a-delta from, so this falls back to copy_last with the same sampling. The proxy-therefore cannot tell this seed from copy_last; that gap is expected.+  w = w_type * w_prolif * w_diff++  w_type  : type-level proliferation weight, beta_type = -4+            (downweight fast-cycling progenitor types)+  w_prolif: within-type cell-level proliferation weight, beta_cell = -1+  w_diff  : within-type differentiation weight from a prior/ gene set+            (Reactome "Developmental Biology"), beta_diff tunable.++Expression values are never modified. Views without official stages (X3) or+without a usable celltype column fall back to uniform copy_last. """  from __future__ import annotations  import argparse+import os  import numpy as np+import scipy.sparse as sp -from src.task1_temporal.baselines import shift_rows, type_deltas from src.task1_temporal.view_io import (     inputs_by_time,+    is_external,     labels_of,     load_manifest,     panel_genes,     read_stage,-    sample_rows,     target_n_cells,     write_prediction, ) +# Generic cell-cycle / proliferation markers (standard cell-biology knowledge,+# not derived from any held-out measurement).+CELL_CYCLE_GENES = [+    "Mki67", "Top2a", "Ccnb1", "Cdk1", "Birc5", "Aurkb", "Pcna",+    "Mcm2", "Ccna2", "Bub1", "Kif11", "Ccnb2", "Rrm2",+]++# Fallback differentiation marker list (early developmental TFs / structural+# differentiation genes; generic developmental-biology knowledge) used only+# if prior/reactome is unavailable.+FALLBACK_DIFF_GENES = [+    "Sox17", "T", "Pax6", "Nkx2-5", "Gata4", "Gata6", "Hoxb1", "Hoxa1",+    "Sox1", "Neurog1", "Myod1", "Myog", "Runx1", "Spi1", "Krt8", "Krt18",+    "Cdh5", "Pecam1", "Tnnt2", "Myh6",+]++BETA_TYPE = -4.0+BETA_CELL = float(os.environ.get("BETA_CELL", "-1.0"))+BETA_DIFF = float(os.environ.get("DIFF_BETA", "0.0"))+REACTOME_SET = "Developmental Biology"+++def _dense_cols(X, idx):+    """Mean log1p expression over given column indices, per row (sparse-safe)."""+    if len(idx) == 0:+        return np.zeros(X.shape[0], dtype=np.float64)+    sub = X[:, idx]+    if sp.issparse(sub):+        s = np.asarray(sub.sum(axis=1)).ravel()+        return s / len(idx)+    return np.asarray(sub).mean(axis=1)+++def load_diff_genes(view_dir, gene_index):+    """Gene indices of the Reactome 'Developmental Biology' set (fallback list)."""+    names = set()+    path = os.path.join(view_dir, "prior", "reactome", "gene_sets.gmt")+    try:+        with open(path) as fh:+            for line in fh:+                parts = line.rstrip("\n").split("\t")+                if len(parts) >= 2 and parts[1] == REACTOME_SET:+                    names.update(parts[2:])+                    break+    except OSError:+        names = set()+    if len(names) < 20:+        names = set(FALLBACK_DIFF_GENES)+    return np.array(sorted(gene_index[g] for g in names if g in gene_index), dtype=np.int64)+++def weighted_sample_without_replacement(w, n, rng):+    """Efraimidis-Spirakis: keys = u^(1/w), take top-n indices (sorted)."""+    u = rng.random(len(w))+    u = np.clip(u, 1e-12, 1.0)+    keys = np.log(u) / np.clip(w, 1e-12, None)+    rows = np.argpartition(-keys, n - 1)[:n]+    return np.sort(rows)+  def main() -> None:     parser = argparse.ArgumentParser()@@ -38,17 +105,51 @@ def main() -> None:      manifest = load_manifest(args.data)     genes = panel_genes(args.data, manifest)-    stages = inputs_by_time(manifest)+    gene_index = {g: i for i, g in enumerate(genes)}++    stages = inputs_by_time(manifest, include_external=False)+    if not stages:+        stages = inputs_by_time(manifest)     last = read_stage(args.data, stages[-1], genes)     rng = np.random.default_rng(args.seed)-    rows = sample_rows(last.n_obs, target_n_cells(manifest, last.n_obs), rng)-    X = last.X[rows]-    if len(stages) >= 2:-        prev = read_stage(args.data, stages[-2], genes)-        deltas = type_deltas(prev.X, labels_of(prev), last.X, labels_of(last))-        del prev-        X = shift_rows(X, labels_of(last)[rows], deltas)-    write_prediction(X, genes, args.out, seed=args.seed)+    n_out = target_n_cells(manifest, last.n_obs)++    X = last.X+    if not sp.issparse(X):+        X = sp.csr_matrix(X)+    X = X.astype(np.float32)++    rows = None+    have_labels = "celltype" in last.obs.columns+    if have_labels and not is_external(stages[-1]):+        labels = np.asarray(labels_of(last))+        prolif_idx = np.array(+            [gene_index[g] for g in CELL_CYCLE_GENES if g in gene_index], dtype=np.int64+        )+        diff_idx = load_diff_genes(args.data, gene_index)+        p_cell = _dense_cols(X, prolif_idx).astype(np.float64)+        d_cell = _dense_cols(X, diff_idx).astype(np.float64)++        uniq = np.unique(labels)+        p_type = np.array([p_cell[labels == t].mean() for t in uniq])+        d_type = np.array([d_cell[labels == t].mean() for t in uniq])+        code = np.searchsorted(uniq, labels)+        p_global = p_cell.mean()++        w_type = np.clip(1.0 + BETA_TYPE * (p_type[code] - p_global), 0.05, 20.0)+        w_prolif = np.clip(1.0 + BETA_CELL * (p_cell - p_type[code]), 0.05, 20.0)+        if BETA_DIFF != 0.0:+            w_diff = np.clip(1.0 + BETA_DIFF * (d_cell - d_type[code]), 0.05, 20.0)+        else:+            w_diff = 1.0+        w = w_type * w_prolif * w_diff+        rows = weighted_sample_without_replacement(w, n_out, rng)++    if rows is None:+        u = rng.random(last.n_obs)+        rows = np.sort(np.argpartition(u, n_out - 1)[:n_out])++    write_prediction(X[rows], genes, args.out, seed=args.seed)   if __name__ == "__main__":

调研来源?调研员查到并用到的知识条目和文献检索结果（只列标题和编号）。

用到的知识库条目

分析结果?分析员写的 ANALYSIS.json：改了什么、各组分数怎么变、假设是否成立、经验和下一步建议。

对话摘要?每个角色和大模型对话的统计：轮数、工具调用、用时、token 数和最后的回答摘录；原始记录只给路径。

只给统计和最后回答的摘录；完整对话请到原始记录位置里列出的文件看。

分析员

ANALYSIS.json written

工程师

**完成。** 父节点 1（pseudobulk_shift，39.34，proxy2 崩溃性失分）→ 改为 copy_last_official + 两级增殖重加权抽样（β_type=-4, β_cell=-1, E-S 无放回），并按 PLAN 新增 prior/Reactome「Developmental Biology」分化轴。

**查分结果**（用 9/20 次）：proxy 56.27（seed1 56.33）、proxy2 56.27、X3 50.0，预期节点分 ≈54.2（vs 父 39.34）。分化轴扫描 β_diff∈{−10,−3,+3,+10}：−3 得 56.37/56.31（两 seed），与 β_diff=0 差 <0.1，在噪声内 → 默认关闭（β_diff=0），两轴类型内相关仅 0.159，轴独立但分化得分动态范围太小（std 0.029 vs 增殖 0.275），无实质杠杆。β_cell=−2 也无增益。

**下一步最值得试**：de_recovery（~51.5）对一切抽样权重不敏感，是唯一未破的短板；树内所有表达级修改均净负，建议尝试受限的基因集级表达外推（仅对 prior 通路内基因、用 E8.5→E9.5 官方两阶段差在 final 视图上做小步位移，proxy 上无法验证需依赖机制合理性），或复现节点 7 的 γ=-0.8 增殖回归放大并与其加权组合作对照。

调研员

```json
{
  "name": "copy_last + 增殖重加权 + prior/分化基因集驱动的第三维抽样权重",
  "motivation": "父节点1因输出外部数据仅39.34；兄弟节点2/3证明copy_last_official→50；节点4/6/7/11证明增殖重加权→54-56。当前最佳节点7四组中de_recovery最弱（51.69）、covariation次弱（52.88）。已有尝试（节点5/10/13/15）表明一切表达值修改均伤cell_state或covariation，唯一安全的杠杆是抽样权重。但现有抽样权重仅用增殖轴（cell-cycle基因），未利用分化方向信息。prior/目录含发育相关基因集（如Reactome Developmental Biology），可构建正交于增殖的分化轴，在不改表达值的前提下选出表达谱更接近未来状态的细胞，针对性提升de_recovery。",
  "approach": "步骤：(1) 基底沿用copy_last_official（inputs_by_time(include_external=False)取最新官方阶段）。(2) 类型级权重：9-13个cell-cycle基因log1p均值→prolif_type，w_type=clip(1+β_type·(prolif_type−global_mean),0.05,20)，β_type=-4（已验证）。(3) 细胞级增殖权重：w_prolif=clip(1+β_cell·(prolif_i−type_mean),0.05,20)，β_cell=-1（已验证）。(4) 新增分化权重：从prior/加载发育/分化相关基因集（优先Reactome 'Developmental Biology'或'Hox gene regulation'等；若prior/无对应文件，退路：用面板内已知的分化标记基因列表硬编码10-20个，如Sox17/T/Brachyury/Pax6/Nkx2-5等早期发育TF，注明来源为通用发育生物学知识）。对每个细胞计算diff_score=面板内分化基因集log1p均值。w_diff=clip(1+β_diff·(diff_i−type_mean_diff),0.05,20)。(5) 总权重w=w_type·w_prolif·w_diff，Efraimidis-Spirakis加权无放回抽样至target_n_cells。(6) 不修改表达值。(7) X3/test视图或无官方阶段：回退均匀copy_last。参数扫描：β_diff∈{-2,-1,-0.5,0,0.5,1,2}，用vec-score在A半查7次（含β_diff=0对照）。若β_diff=0最优，发布版等价于父机制（β_type=-4,β_cell=-1）。单输入阶段（proxy）退路：无额外退化，因分化得分仅依赖单阶段内表达，不需要两个时间点。proxy2：忽略外部Qiu阶段，同样只用官方E8.5。预期用7-10次查分，在30分钟内可完成。",
  "expected_groups": ["de_recovery", "direction"],
  "risks": "1) 分化基因集与增殖基因集高度共线（如某些TF同时参与两者），导致β_diff无独立贡献——Engineer应在扫描前先报告两轴在细胞水平的相关系数，若|ρ|>0.8则放弃；2) β_diff方向不确定（可能需负值：下调已分化细胞），扫描覆盖正负两侧；3) prior/目录可能无现成基因集文件，退路用硬编码标记列表但覆盖面窄，效果可能弱；4) 预期提升在1-3分量级，接近T1噪声（~2分），Engineer应对最优β_diff跑2个seed确认；5) 若covariation因组成变化下降>2分，立即回退β_diff=0。"
}
```