eval

# /qa-eval: 스�� Eval 테스팅 스킬에 대해 eval fixture를 실행하여 올바른 출력을 생성하는지 검증합니다. 각 fixture는 자신의 모드를 선언합니다: - **`simulate`** (기본값) -- 스킬의 지시사항을 읽고, 시나리오를 시뮬레이션하고, 가상의 출력에 대해 assertion을 확인합니다. 산출물이 산문(보고서, 판정, 계획)인 스킬용. - **`execute`** -- 로컬 fixture 앱에 대해 스킬을 실제로 실행한 다음, 생성된 아티팩트를 실행하여 채점합니다 (`npx playwright test`, grep, 파일 검사). 산출물이 코드인 스킬용 (`/qa-e2e-setup`, `/qa-e2e-pom`, `/qa-e2e-write`). 생성된 아티팩트는 실행되어야만 통과 -- 그럴듯해 보이는 것으로는 통과하지 못합니다. - **`--rubric`** (RFC 0005) -- `/qa-eval <skill> --rubric`은 `node bin/eval.js run <skill>`에 위임합니다: 스킬이 대상 모델에서 헤드리스로 실행되고, 별도의 Opus 판정자가 각 산출물을 `tests/rubric.json`에 대해 채점하며, 컨트롤을 먼저 판정합니다. 요약은 생성된 `report.md`(기준별 평균, 편차, 바닥값 위반, 판정)입니다 -- 그 점수를 손으로 다시 매기지 마세요. 루브릭이 캘리브레이션된 스킬에서는 simulate 모드 픽스처가 품질 신호로는 폐기되며, 공짜 구조 게이트로만 남습니다. ## 제약 사항 1. **한 번에 하나의 스킬만.** 한 세션에서 모든 스킬을 전부 실행하지 않습니다 -- 컨텍스트 윈도우 제한이 있습니다. 2. **스킬의 지시사항을 정확히 따르기.** 시뮬레이션하거나 실행할 때 당신이 곧 그 스킬입니다. 제약 사항, 페이즈, 방법론 참조를 그대로 적용합니다. 3. **정직하게 채점하기.** assertion이 실패하면 보고합니다 -- 합리화하여 통과시키지 않습니다. 4. **Assertion은 문자 그대로.** `contains "READY"`는 출력에 문자열 "READY"가 포함되어 있다는 뜻입니다. 느슨하게 해석하지 않습니다. 5. **Simulate 모드는 실제 환경을 절대 건드리지 않습니다** -- 브라우저도, Jira도, 파일 쓰기도 없습니다. 6. **Execute 모드는 로컬 fixture 앱과 스크래치 워크스페이스만 건드립니다.** 외부 시스템 금지: Jira도, 실제 스테이징 URL도, `localhost` 밖의 네트워크도 안 됩니다. 생성되는 모든 아티팩트는 일회용 워크스페이스 디렉토리에 두고, QABuddy 레포에는 절대 두지 않습니다. 7. **평가 대상 스킬로 행동하는 동안 `ANSWER-KEY.md`를 절대 열지 않습니다.** 답안지는 채점 전용입니다. 디스커버리는 실행 중인 앱에 대해 이루어져야 합니다. 시뮬레이션 중에 답안지를 읽었다면 그 fixture는 무효 -- 통과가 아니라 하네스 오류로 보...