← ClaudeAtlas

idea-criticlisted

Judge whether a research idea contains genuine insight (vs. combinatorial stitching), passes domain-intuition sanity checks, and would survive peer review. Three-layer critique - insight tests, domain pitfall checks, multi-persona reviewer simulation - producing a structured critique card with an accept/pivot/abandon verdict. Use when the user asks to evaluate, critique, or stress-test a research idea before committing to it. Do not use for finished paper review (use reviewer-simulation) or novelty search (use scoop-check).
wookat/ai-research-skills · ★ 2 · Code & Development · score 60
Install: claude install-skill wookat/ai-research-skills
# Idea Critic(洞察性评审) ⚠ 本 skill 属 verdict 类评审,必须遵守 `../cross-model-review` 协议:在零上下文新线程、优先跨模型的条件下出具评审, 只读被评对象,禁止在产生/修改该对象的同一上下文里自评(否则会把真实 3/10 刷成虚假 8/10)。 无法换线程/换模型时,按 `shared-references/reviewer-adapter.md` 降级并在结论标注 self-review 可能虚高。 在投入实验和写作之前,判定一个 idea 是**真洞察**还是**排列组合式缝合**,并预演审稿人的攻击。 输入:一张 idea card(或等价描述)+ 可选的 scoop_report.md + 领域模块 `domains/<领域>.md`。 ## 第一层:洞察性判定(通用,四项检验) 1. **机制性检验**:该 idea 是否解释了"现有方法为什么在某处失败"? 真洞察必有失败归因;只有"A+B 应该更好 / X 很火所以用 X"的是缝合。 要求写出一句因果链:"因为现有方法做了 <假设/设计>,所以在 <条件> 下失败;本方法通过 <机制> 消除该失败。"写不出即不通过。 2. **可证伪性检验**:能否设计一个实验,结果为 X 则 idea 直接被否定? 不可证伪的 idea(怎么解释都通)没有科学内容。 3. **最小性检验**:想象消融——去掉核心创新组件后性能应显著下降。 若预期"去掉也差不多",创新点是伪贡献。 4. **反事实检验**:若实验结论恰好相反,原 motivation 是否同样"讲得通"? 两边都讲得通说明 motivation 是事后叙事,不含预测力。 每项给 pass / weak / fail + 一句依据。**两项及以上 fail → 直接判缝合,跳到输出。** ## 第二层:领域直觉体检(读取领域模块) 从 `domains/<领域>.md` 的"已知陷阱"与"增益来源审查"清单逐条核对,典型问题: - 是否撞已知陷阱(如时序领域:复杂结构 vs 线性基线之问、归一化/窗口泄漏、小数据集过拟合假象���分布漂移敏感)? - 预期增益来源是否可信:来自机制本身,还是可能来自调参余地、随机种子、不公平对比? - 与领域近期共识的关系:顺势增量(CCF-A 相弱)还是挑战默认假设(强,但需更硬的证据)? - 计算/数据代价是否与增益匹配?审稿人会不会问"这么复杂就为了这点提升"? 无领域模块时,用通用 ML 常识执行同类检查,并标注"无领域模块,体检不完整"。 ## 第三层:审稿人模拟(三个 persona,独立成段) - **Reviewer 2(苛刻型)**:专攻 novelty 与实验漏洞。必须至少提出 3 条具体 weakness,禁止空泛。 - **领域专家**:挑与最接近的 3-5 篇近作(来自 scoop_report,若无则现场检索)的区分度;追问"你的 delta 在他们的框架里是不是一个超参"。 - **Area Chair**:判断故事完整性——问题重要吗、证据链闭合吗、"这值一篇 CCF-A 还是一篇 workshop"? 每个 persona 输出:评分(soundness / novelty / significance,1-5)+ weakness 清单 + 一个"若被 rebuttal 说服则改分"的条件。 ## 输出:评审卡(critique_card.md)