ai-before-afterlisted
Install: claude install-skill Stophyuk/solutionzip-skills
# AI 기능 전후 비교 스킬
"좋아진 것 같다"는 측정이 아니다. 고치기 전에 표본을 한 번 돌려 두고(기준), 고친 뒤 같은 표본을 한 번 더 돌려 표로 견준다. 결과 파일은 대화에 붙이지 않는다. 표와 고른 몇 건만 본다.
## 순서
1. **바꾸는 것 · 잴 것 — 먼저 한 줄씩.** 사용자에게 보여 주고 좋다고 하면 시작한다.
- 바꾸는 것: 예) "분류 프롬프트에 예시 셋을 넣는다", "모델을 더 싼 것으로 바꾼다".
- 잴 것: 좋아져야 할 것 하나와 나빠지면 안 되는 것 하나. 예) "'기타'로 빠지는 건이 준다 · 형식 위반은 0 그대로".
- 정답 라벨이 없으면 여기서 "정확도는 재지 않는다"고 미리 말한다.
2. **표본 고르기 — 20~50건.** 기존 데이터(로그 · DB · 문의함)에서 다양하게 고른다. 기준은 `checklist.md`.
- 짧은 것 · 긴 것 · 흔한 것 · 애매한 것 · 빈 것 · 지금 틀리는 것으로 알려진 것.
- 개인정보는 가린다. 이름 · 전화 · 메일 · 주소 · 계좌 → `<이름>` · `<전화>`.
- 한 줄에 하나: `{"id":"s01","input":"…","label":"…"}`. `label`(정답)은 아는 것만 적는다. 지어 붙이지 않는다.
- 작업 폴더(예: `.ai-before-after/`)에 두고 커밋하지 않는다. `.gitignore`에 없으면 한 줄 넣을지 묻는다.
3. **어댑터 쓰기.** 앱의 함수를 부르는 `predict.mjs`를 작업 폴더에 만든다. 앱 코드는 아직 고치지 않는다.
- `export async function predict(input, ctx)` — 문자열이나 JSON 객체를 돌려준다.
- 실제 모델은 `ctx.real`(`REAL=1`일 때만 참)일 때만 부른다. 아니면 정해진 답을 돌려주는 가짜 모델을 끼워 프롬프트 조립 · 파싱 · 후처리는 그대로 돌게 한다.
- 토큰 수를 알 수 있으면 `ctx.usage({ in, out })`. 꼴은 `checklist.md`의 어댑터 예시.
4. **0원으로 먼저.** REAL 없이 돌려 파일 · id · 표가 맞게 나오는지만 본다.
- `node <이 폴더>/run.mjs predict.mjs samples.jsonl out/dry.jsonl` → `node <이 폴더>/compare.mjs out/dry.jsonl out/dry.jsonl`
- 가짜 모델을 끼울 수 없는 앱이면 `--mock`(모듈의 `mock` 함수, 없으면 기본 모의)으로 대신한다.
5. **'전' 뜨기 — 코드를 고치기 전에.**
- 실제 모델이면 비용을 먼저 말한다: 건수 × (프롬프트 + 입력 + 출력 토큰) × 단가. `--dry`가 건수와 입력 글자 합을 찍는다. 어림이 어려우면 `--limit 1`로 한 건만 돌려 사용량을 보고 곱한다. 사용자가 좋다고 하면 `REAL=1`을 붙인다.
- `node run.mjs predict