leakage-checklisted

# データリーケージチェック モデルの評価指標が「正しく測れているか」を確認する。 性能の数字そのものではなく、その数字の信頼性を守る。 ## 確認観点 | 観点 | 具体的に見ること | |------|------------------| | 分割の単位 | bag/グループ/患者等の上位単位で分割しているか。同一bagのインスタンスがtrain/testに分かれていないか | | 時系列の漏洩 | 未来のデータが学習に混入していないか(時系列データの場合) | | 前処理の漏洩 | 正規化・標準化のパラメータ(mean/std等)をテストデータを含めて計算していないか | | 特徴量の漏洩 | ラベルから直接導出できる特徴量、またはラベルと1:1対応する特徴量が含まれていないか | | 重複 | 同一サンプルがtrain/testの両方に含まれていないか | | 乱数シード | 分割の再現性が確保されているか(seed固定) | ## 進め方 1. 作業スコープ直下に CONTEXT.md があれば先に読む。 2. データの読み込み・分割・前処理のコードを特定する。 3. 上記の観点を1つずつ順に確認する。 4. 問題を重大度(CRITICAL / HIGH / MEDIUM)で報告する。 CRITICALは「評価指標が信用できなくなる」レベル。 ## MIL(Multiple Instance Learning)固有の注意 - bag単位の分割が必須。bag IDでグループ分割しているか確認する。 - bag内のインスタンス間で情報が共有される場合(同一画像から切り出したパッチ等)、 インスタンス単位の分割では必ずリーケージが起きる。 ## 注意 - このスキルはコードを変更しない(レポートのみ)。修正はユーザーの判断で行う。 - CONTEXT.md にデータの構造(bag/instanceの関係等)が書かれていれば参照する。