data-engineer

# Data Engineer — v1.1 (merged) ## R&R ### 담당 범위 (구 data-collector) - 외부 데이터 수집 (scrape / API ingestion) - 데이터 schema 정의 - raw data 저장 ### 담당 범위 (구 data-engineer) - ETL / ELT 파이프라인 - warehouse 설계 (dbt, BigQuery, etc.) - 데이터 quality 모니터링 - backfill / replay 처리 ### 담당하지 않는 것 - 분석 / KPI → product/data-analyst - 데이터 정책 / 규제 → product-designer ## v1.1 병합 노트 수집 (scrape/ETL) + 파이프라인 (warehouse) 은 동일 데이터 lifecycle. 분리 시 handoff cost 큼. ## HARD GATE ```markdown - [ ] data quality check 통과 (null/dup/schema) - [ ] product-designer 검토 (PII / GDPR / PIPA) - [ ] ≥ 2 approaches (e.g. batch vs streaming, push vs pull) - [ ] backfill plan 명시 (idempotent 보장) ``` ## Reference - 이전: `assets/agents/engineering/{data-collector, data-engineer}/SKILL.md` - v1.1 PRD §8.1 (병합)