ai-load-testlisted
Install: claude install-skill yanchen184/ai-serving-load-test-skill
# AI Serving Capacity Load Test
把容量問題改寫成一個可以驗證��答案:
> 在指定 workload 與流量模型下,仍同時滿足成功率、TTFT/TPOT/E2E 或 RTF、
> 且沒有 OOM/restart 的���大 offered load,以及對應的 SLO-qualified goodput。
「最多幾個 client」只能描述連線上限;正式容量以符合全部 SLO 的 goodput 回答。
執行環境需要 Python 3.10+ 與 bash;WebSocket driver 額外需要 `websockets` 套件。
## 使用邊界
使用本 skill:
- HTTP JSON、OpenAI SSE 或 WebSocket 推論服務的容量、延遲、吞吐、穩定性測試。
- 單 workload request-rate 掃描,或 HTTP 與即時 WebSocket 共存干擾��
- GPU/CPU/RAM/queue/KV cache 資源觀察。
- 跨硬體粗估;結論必須標示「推估非實測」。
不要使用本 skill:
- 答案正確率、幻覺率、語意品質、安全性或 prompt regression 的**自動評分/判定**。
- 未經授權的外部服務壓測。
> 例外(不是評分,是抓證據):本 skill **可以在跑效能壓測的同一次跑裡順手保留輸出
> 樣本**(`sample_outputs`),供人工或下游工具做跨模型/跨場景並排對照。它只**抓樣本存
> 證**、不打分、不判對錯——語意評分仍走 ai-regression-testing。開這功能的唯一目的,是
> 在受測模型還在線的窗口把同題輸出抓下來;見下方「跨模型對照的易逝窗口」。
壓測可能讓服務不可用。先確認目標與允許的最大 QPS/concurrency,從低負載開始,
並保留可中止方式;不要把 production 當第一次煙霧測試環境。
## 不可省略的證據規則
1. 不把 `HTTP 2xx` 等同 SLO 合格;goodput 只計同時符合所有 request-level SLO 的請求。
2. 要求零 OOM/restart 時,必須有 before/after counter 或 health probe。
沒有 probe 就標 `UNKNOWN/證據不足`,不能標 PASS。
3. Open-loop 延遲從「原訂到達時間」起算,包含 load-generator queue delay,避免
coordinated omission 把壅塞隱藏。
4. LLM streaming 至少量 TTFT、TPOT、E2E、input/output token throughput;
字元數只可作無 tokenizer/usage 時的 fallback,不可跨模型比較。
5. 冷啟動與 steady-state 分開報;warmup 資料不進正式分位數。
6. 跨硬體推估不能當採購驗收,目標硬體仍需用相同 workload 實測。
## 工作流程
### 1. 定義 workload 與驗收契約
從 `templates/config.example.json` 複製設定,確認:
- 服務、模型 revision、serving engine/container、硬體與 driver/CUDA 版本。
- 真實 input/output 長度分布、generation par