← ClaudeAtlas

eval-skillslisted

验证技能真的会触发、产出真的对——用固定用例跑,不靠"跑两下 demo 没报错"。适用于"这个技能靠谱吗""技能改了会不会坏""触发不了""怎么证明它有用""跑一下评测""回归一下技能""技能体检""质量门禁""evals""这条 description 改得对不对""技能老是不被调用"这类请求。只评测、不创建、不治理体积。
xingtu1996/xingtu-skills · ★ 2 · AI & Automation · score 68
Install: claude install-skill xingtu1996/xingtu-skills
> 来源:Claude Code 会话实践沉淀(2026-10 定型,脱敏版)。依据:官方 Claude Code `skill-creator` / `claude plugin eval`(后者 early access)+ Ratchet 论文(模型自写技能 +0.0pp vs 人写 +16.2pp)。 # 技能评测(eval-skills) ## 你要解决的事 用户的原话通常是这几句: > "我这个技能改了 description,还会被触发吗?" / "这个技能到底有没有用?" / "帮我跑个评测" 他这会儿有的是**一个已经发布的技能**和**一个说不清的担心**。你要把他从「**不知道它还好不好使**」带到「**有可复现的证据说它好或不好**」。 **边界(先看这个,别越界)**: | 想做的事 | 该用哪个技能 | |---------|------------| | 从零**建**一个技能 | 官方 `skill-creator` | | **创建/改进时**做一次性评测(对话式、isolated subagent) | 官方 `skill-creator` | | 治理 harness **体积**(CLAUDE.md 太肥、规则重复) | `harness-governance` | | 收集"该建/该升级/该淘汰"的**建议** | `skill-inbox-triage` | | **本技能** —— 已发布的技能:**触发面还灵不灵、产出还对不对**,且要能**重复跑** | `eval-skills` | 一句话区分:**别人管"建"和"管",本技能管"验"**。 --- ## 这个技能为什么存在 - **解决什么问题**:技能的质量保障长期停在"跑两下 demo 没报错就发布"——**没有用例、没有回归、没有门禁**。技能仓常见的结构检查(name 与目录名一致 / 凭据残留 / 内容红线)**只验包的结构,一行都不验行为**。改一行 `description`,触发面就可能塌,而**当前完全测不出来**。 - **不解决什么(边界)**:��创建技能、不改技能正文、不做体积治理、不生成技能建议。**评测与修复分离**——本技能定位问题,修不修由人和对应技能决定。 - **决策依据**:① 官方 Claude Code 已内建评测能力(`skill-creator` 稳定可用、`claude plugin eval` 尚在 early access),**优先调用、不自研 grader**;② Ratchet 论文实测 **LLM 自写技能 +0.0pp / 人写 +16.2pp** → **用例必须人定标准**;③ 官方明文「The two formats aren't interchangeable」→ **两套格式不可混用,选定一套**。 --- ## 四条铁律 1. **用例的人定标准,AI 不自已出题**——AI 可以起草,但**"什么算通过"必须由人确认**。数据依据:LLM 自写的评测 +0.0pp,人写的 +16.2pp。 2. **不让被评测者当自己的裁判**——跑评测的会话**不挂被评测技能的上下文**,判定用独立的 grader/子代理。 3. **用例必须可断言**——断言要能机械判真假(文件存在 / 正则命中 / 调用了某工具),拒绝"回答得不错""感觉更好了"这类判据。 4. **绿灯不算证据,附一条变异测试**——用例群全绿后,必须再跑一条「测试的测试」:把