← ClaudeAtlas

ai-load-testlisted

AI 推論服務的容量壓測、併發測試與 SLO goodput 方法論及工具。只要使用者想知道 「AI API 能撐多少流量/多少人」「P95/P99、TTFT、TPOT、RTF、token throughput」 「Poisson/open-loop、突發流量、混合 REST+WebSocket」「會不會 OOM/restart」 「GPU/CPU/RAM/KV cache 瓶頸」「換 L40S/A100/H200 的容量差異」就應使用。 適用 OpenAI-compatible SSE、一般 HTTP JSON、WebSocket ASR/翻譯/串流推論。 本 skill 測 serving 容量、延遲、穩定性與資源,不測答案準確率、hallucination 或模型品質; 後者使用 ai-regression-testing。即使使用者只說 load test、capacity planning、 能撐幾人、goodput、TTFT、TPOT、RTF、吞吐或壓 GPU,也要觸發本 skill。
yanchen184/ai-serving-load-test-skill · ★ 1 · AI & Automation · score 64
Install: claude install-skill yanchen184/ai-serving-load-test-skill
# AI Serving Capacity Load Test 把容量問題改寫成一個可以驗證��答案: > 在指定 workload 與流量模型下,仍同時滿足成功率、TTFT/TPOT/E2E 或 RTF、 > 且沒有 OOM/restart 的���大 offered load,以及對應的 SLO-qualified goodput。 「最多幾個 client」只能描述連線上限;正式容量以符合全部 SLO 的 goodput 回答。 執行環境需要 Python 3.10+ 與 bash;WebSocket driver 額外需要 `websockets` 套件。 ## 使用邊界 使用本 skill: - HTTP JSON、OpenAI SSE 或 WebSocket 推論服務的容量、延遲、吞吐、穩定性測試。 - 單 workload request-rate 掃描,或 HTTP 與即時 WebSocket 共存干擾�� - GPU/CPU/RAM/queue/KV cache 資源觀察。 - 跨硬體粗估;結論必須標示「推估非實測」。 不要使用本 skill: - 答案正確率、幻覺率、語意品質、安全性或 prompt regression 的**自動評分/判定**。 - 未經授權的外部服務壓測。 > 例外(不是評分,是抓證據):本 skill **可以在跑效能壓測的同一次跑裡順手保留輸出 > 樣本**(`sample_outputs`),供人工或下游工具做跨模型/跨場景並排對照。它只**抓樣本存 > 證**、不打分、不判對錯——語意評分仍走 ai-regression-testing。開這功能的唯一目的,是 > 在受測模型還在線的窗口把同題輸出抓下來;見下方「跨模型對照的易逝窗口」。 壓測可能讓服務不可用。先確認目標與允許的最大 QPS/concurrency,從低負載開始, 並保留可中止方式;不要把 production 當第一次煙霧測試環境。 ## 不可省略的證據規則 1. 不把 `HTTP 2xx` 等同 SLO 合格;goodput 只計同時符合所有 request-level SLO 的請求。 2. 要求零 OOM/restart 時,必須有 before/after counter 或 health probe。 沒有 probe 就標 `UNKNOWN/證據不足`,不能標 PASS。 3. Open-loop 延遲從「原訂到達時間」起算,包含 load-generator queue delay,避免 coordinated omission 把壅塞隱藏。 4. LLM streaming 至少量 TTFT、TPOT、E2E、input/output token throughput; 字元數只可作無 tokenizer/usage 時的 fallback,不可跨模型比較。 5. 冷啟動與 steady-state 分開報;warmup 資料不進正式分位數。 6. 跨硬體推估不能當採購驗收,目標硬體仍需用相同 workload 實測。 ## 工作流程 ### 1. 定義 workload 與驗收契約 從 `templates/config.example.json` 複製設定,確認: - 服務、模型 revision、serving engine/container、硬體與 driver/CUDA 版本。 - 真實 input/output 長度分布、generation par