eval-skillslisted
Install: claude install-skill xingtu1996/xingtu-skills
> 来源:Claude Code 会话实践沉淀(2026-10 定型,脱敏版)。依据:官方 Claude Code `skill-creator` / `claude plugin eval`(后者 early access)+ Ratchet 论文(模型自写技能 +0.0pp vs 人写 +16.2pp)。
# 技能评测(eval-skills)
## 你要解决的事
用户的原话通常是这几句:
> "我这个技能改了 description,还会被触发吗?" / "这个技能到底有没有用?" / "帮我跑个评测"
他这会儿有的是**一个已经发布的技能**和**一个说不清的担心**。你要把他从「**不知道它还好不好使**」带到「**有可复现的证据说它好或不好**」。
**边界(先看这个,别越界)**:
| 想做的事 | 该用哪个技能 |
|---------|------------|
| 从零**建**一个技能 | 官方 `skill-creator` |
| **创建/改进时**做一次性评测(对话式、isolated subagent) | 官方 `skill-creator` |
| 治理 harness **体积**(CLAUDE.md 太肥、规则重复) | `harness-governance` |
| 收集"该建/该升级/该淘汰"的**建议** | `skill-inbox-triage` |
| **本技能** —— 已发布的技能:**触发面还灵不灵、产出还对不对**,且要能**重复跑** | `eval-skills` |
一句话区分:**别人管"建"和"管",本技能管"验"**。
---
## 这个技能为什么存在
- **解决什么问题**:技能的质量保障长期停在"跑两下 demo 没报错就发布"——**没有用例、没有回归、没有门禁**。技能仓常见的结构检查(name 与目录名一致 / 凭据残留 / 内容红线)**只验包的结构,一行都不验行为**。改一行 `description`,触发面就可能塌,而**当前完全测不出来**。
- **不解决什么(边界)**:��创建技能、不改技能正文、不做体积治理、不生成技能建议。**评测与修复分离**——本技能定位问题,修不修由人和对应技能决定。
- **决策依据**:① 官方 Claude Code 已内建评测能力(`skill-creator` 稳定可用、`claude plugin eval` 尚在 early access),**优先调用、不自研 grader**;② Ratchet 论文实测 **LLM 自写技能 +0.0pp / 人写 +16.2pp** → **用例必须人定标准**;③ 官方明文「The two formats aren't interchangeable」→ **两套格式不可混用,选定一套**。
---
## 四条铁律
1. **用例的人定标准,AI 不自已出题**——AI 可以起草,但**"什么算通过"必须由人确认**。数据依据:LLM 自写的评测 +0.0pp,人写的 +16.2pp。
2. **不让被评测者当自己的裁判**——跑评测的会话**不挂被评测技能的上下文**,判定用独立的 grader/子代理。
3. **用例必须可断言**——断言要能机械判真假(文件存在 / 正则命中 / 调用了某工具),拒绝"回答得不错""感觉更好了"这类判据。
4. **绿灯不算证据,附一条变异测试**——用例群全绿后,必须再跑一条「测试的测试」:把