← ClaudeAtlas

ai-before-afterlisted

앱에 넣은 LLM 기능(분류 · 요약 · 초안 쓰기)의 프롬프트 · 모델 · 후처리를 고칠 때, 같은 표본을 고치기 전과 후에 돌려 표 하나로 견준다. 모의 모델로 먼저 0원 시험하고, 정답 라벨이 없으면 정확도를 찍지 않고 라벨 없이 잴 수 있는 것(빈 출력 · 형식 위반 · 길이 · 분포 · 달라진 표본 · 입력에 없는 숫자)만 잰다. "프롬프트 바꾸기 전에 기준 떠 둬", "전후 비교해줘", "모델 바꾸면 나아지나 봐줘" 같은 요청에 쓴다.
Stophyuk/solutionzip-skills · ★ 0 · AI & Automation · score 72
Install: claude install-skill Stophyuk/solutionzip-skills
# AI 기능 전후 비교 스킬 "좋아진 것 같다"는 측정이 아니다. 고치기 전에 표본을 한 번 돌려 두고(기준), 고친 뒤 같은 표본을 한 번 더 돌려 표로 견준다. 결과 파일은 대화에 붙이지 않는다. 표와 고른 몇 건만 본다. ## 순서 1. **바꾸는 것 · 잴 것 — 먼저 한 줄씩.** 사용자에게 보여 주고 좋다고 하면 시작한다. - 바꾸는 것: 예) "분류 프롬프트에 예시 셋을 넣는다", "모델을 더 싼 것으로 바꾼다". - 잴 것: 좋아져야 할 것 하나와 나빠지면 안 되는 것 하나. 예) "'기타'로 빠지는 건이 준다 · 형식 위반은 0 그대로". - 정답 라벨이 없으면 여기서 "정확도는 재지 않는다"고 미리 말한다. 2. **표본 고르기 — 20~50건.** 기존 데이터(로그 · DB · 문의함)에서 다양하게 고른다. 기준은 `checklist.md`. - 짧은 것 · 긴 것 · 흔한 것 · 애매한 것 · 빈 것 · 지금 틀리는 것으로 알려진 것. - 개인정보는 가린다. 이름 · 전화 · 메일 · 주소 · 계좌 → `<이름>` · `<전화>`. - 한 줄에 하나: `{"id":"s01","input":"…","label":"…"}`. `label`(정답)은 아는 것만 적는다. 지어 붙이지 않는다. - 작업 폴더(예: `.ai-before-after/`)에 두고 커밋하지 않는다. `.gitignore`에 없으면 한 줄 넣을지 묻는다. 3. **어댑터 쓰기.** 앱의 함수를 부르는 `predict.mjs`를 작업 폴더에 만든다. 앱 코드는 아직 고치지 않는다. - `export async function predict(input, ctx)` — 문자열이나 JSON 객체를 돌려준다. - 실제 모델은 `ctx.real`(`REAL=1`일 때만 참)일 때만 부른다. 아니면 정해진 답을 돌려주는 가짜 모델을 끼워 프롬프트 조립 · 파싱 · 후처리는 그대로 돌게 한다. - 토큰 수를 알 수 있으면 `ctx.usage({ in, out })`. 꼴은 `checklist.md`의 어댑터 예시. 4. **0원으로 먼저.** REAL 없이 돌려 파일 · id · 표가 맞게 나오는지만 본다. - `node <이 폴더>/run.mjs predict.mjs samples.jsonl out/dry.jsonl` → `node <이 폴더>/compare.mjs out/dry.jsonl out/dry.jsonl` - 가짜 모델을 끼울 수 없는 앱이면 `--mock`(모듈의 `mock` 함수, 없으면 기본 모의)으로 대신한다. 5. **'전' 뜨기 — 코드를 고치기 전에.** - 실제 모델이면 비용을 먼저 말한다: 건수 × (프롬프트 + 입력 + 출력 토큰) × 단가. `--dry`가 건수와 입력 글자 합을 찍는다. 어림이 어려우면 `--limit 1`로 한 건만 돌려 사용량을 보고 곱한다. 사용자가 좋다고 하면 `REAL=1`을 붙인다. - `node run.mjs predict