doc-archive-organizerlisted

# 文档归档整理与知识索引 针对「历史文档存档」的标准化处理流程。核心判断：**重复文件通常不是"复制多了"，而是"分类体系不成立"的表象**——先重构分类，再去重，顺序颠倒会导致问题复发。 ## 适用场景 - 数百至数千份文档，目录层级深（>6 层）、命名混乱 - 存在大量跨目录重复文件 - 需要把"存得住"的文件库变成"找得到、用得上"的知识库 ## 工作流（三轮，每轮结束都要用户确认） ### 第一轮：只读诊断（不修改任何文件） 1. **全量扫描** → 输出 CSV 清单（路径/大小/修改时间/层级）+ 目录统计 + 类型统计 2. **重复检测**： - 先按**体积分桶**缩小候选（通常能从 100% 降到 30%），再对候选做 MD5 - 13GB / 5200 文件约 11 秒完成 3. **关键指标——跨目录重复占比**： - >80% → 根因是分类维度混乱，必须先重构分类 - <30% → 单纯的复制问题，直接去重即可 4. **结构分析**：最深层级、自嵌套目录（`X\X`）、命名问题（空格/`(1)`/版本词/日期串）、遗留格式、时间分布 5. 输出诊断报告 + 分类建议 + 四级去重优先队列（P0 垃圾 / P1 完全重复 / P2 同名不同内容 / P3 同名跨目录） ### 第二轮：执行整理（S0–S5） | 阶段 | 动作 | 要点 | |---|---|---| | S0 | 全量备份 | `robocopy /E /COPY:DAT /DCOPY:DAT`，**跨盘**；完成后必须比对文件数与目录数 | | S1 | 清理系统垃圾 | `.DS_Store` / `.tmp` / `.bak` / `.ldb` / `__MACOSX` / `._*` | | S2 | 建新目录骨架 | 一级按业务域（MECE），层级 ≤4 | | S3 | 规则化搬迁 | 同盘 `shutil.move`；先 dry-run 生成计划并检视抽样，再 `--execute` | | S4 | 重复归集 | **搬迁后重新扫描检测**（路径已变）；每份保留 1 个 | | S5 | 压平 + 索引 | 清理空目录，生成全库索引 | **铁律**： - 每一步都提供 `--execute` 开关，默认 dry-run - 全程**零物理删除**，一律移入 `_回收站_YYYYMMDD\` - 每次移动写 `move_log.csv`（src/dst/status），可精确回滚 ### 第三轮：知识索引（L1+L2+L3） | 层 | 内容 | 生成方式 | |---|---|---| | L1 速查导航 | 分区卡片（路径/文件数/体积/一句话定位/关键词） | 全自动 | | L2 检索地图 | 按主题 + 按实体双视角，各含涉及目录与代表文档完整路径 | 全自动（文件名语义匹配） | | L3 知识卡片 | 读正文编译，带来源标注与交叉引用 | AI 编译，挑 5 个高价值主题试点 | L2 是核心价值——按"我要解决什么问题"组织，而不是抄一遍目录树。 ## 关键技术 ### 分类规则引擎 有序规则表 `(关键词组, 目标一级, 目标二级, 目标三级)`，第一个命中生效。要点： - 特殊类别（项目包、素材库）规则前置，保持完整性 - 给"容器词"设黑名单（`资料收集集合`、`过程产物`、`临时文件`…），压平时丢弃 - 清理连续重复段（`深圳\深圳` → `深圳`） -