test-reliability

# 测试可靠性治理（test-reliability） 测试套件自身的稳定性治理——回答一个问题：**这套测试的结果还能不能信**。单条用例时好时坏、重跑变绿、夜间全量靠重试撑绿、发布卡点被 flaky 疲劳轰炸，都属于本 skill 的治理对象。本 skill 是套件级的"判定 → 隔离 → 根因 → 门禁 → 健康度"闭环，不替代任何单次执行流程。 - **输入**：失败/��灯历史（CI 运行记录、重跑日志、triage 分流表 D 类条目）、套件清单与运行统计；项目存在 `.qa/` 时先读其 flaky-tests 主题（经 `qa-memory` 沉淀的历史判定） - **输出（落盘）**：《可靠性报告_{套件}_{日期}.md》——逐条 flaky 清单（判定 × 根因分类 × 处置 × 状态，缺一字段即报告不合规）+ 套件健康度机读摘要（字段规范见 `references/flaky-playbook.md` 第 5 节，挂靠 `../core/report-template.md` 机读段）；沉淀判定结论（哪些发现值得写入 `.qa/`，交 `qa-memory` 工作流执行） - **边界（三层分工，同源 `../core/triage.md` 第 6 节）**：执行中单条失败的即时定性（first-run-flaky 规则、等待策略）→ 各执行 skill 工程约定；一批失败的首轮分类与路由 → `../core/triage.md`；已确认 Bug 的根因/影响/修复建议 → `bug-analysis`；**本 skill 管"套件与门禁"层**——单条定性做完之后的跨轮追踪、根因分类、隔离策略、重试语义与健康度 ## When to Use - 用户问"这条用例为什么时好时坏 / 这算不算 flaky / 重跑绿了算修好吗" - CI 夜间套件靠重试撑绿，需要裁决重试策略或制定隔离（quarantine）门禁 - 需要产出套件健康度（flaky 率、隔离数、重试救回率）或发布卡点的可靠性证据 - 分流表 D 类（不稳定）条目跨轮累积，需要根因分类与治理排期 - 项目要给"测试套件可信度"立规矩：什么样的套件状态允许作为发布证据 ## When NOT to Use - 一次执行中的单条失败即时处理（截图、重跑定性、等待降级）→ 各执行 skill 工程约定（如 `automated-e2e-testing`） - 一轮执行结束失败 ≥3 条的批量定性分流 → `../core/triage.md`（其结论为 D 类的条目跨轮追踪时回到本 skill） - 已确认 Bug 的根因定位、影响分析与修复建议 → `bug-analysis` - 写测试用例本身 → `test-case-writing`；回归范围决策 → `regression-testing` - 单次执行报告 → `../core/report-template.md`（本 skill 的健康度摘要挂靠其机读段） ## 核心模型：稳定性的三层语义 1. **用例级**：一条用例的"真失败 vs 噪声"判定——证据是复跑矩阵，不是感觉（工作流一）。 2. **套件级**：一组用例的可靠性水位——健康度指标说话（工作流五）。 3. **门禁级**：套件结果作为发布证据的语义——重试绿、隔离跳过、未跑各算什么（工作流四）。 三层不可混谈：单条判定正确 ≠ 套件健康；套件全绿 ≠ 门禁证据合格（可能全靠重试撑着）。 ## 工作流一：flaky ...