ml-rule-learninglisted

# 规则学习 — 当模型必须"讲得出道理"时的逻辑规则路线 ## R — 原文 (Reading) > "与神经网络、支持向量机这样的'黑箱模型'相比，规则学习具有更好的可解释性，能使用户更直观地对判别过程有所了解。……逻辑规则的抽象描述能力在处理一些高度复杂的 AI 任务时具有显著的优势。" > > — 周志华, 《机器学习》第15章 15.1节 "基本概念" > "前者通常更容易产生泛化性能较好的规则，而后者则更适合于训练样本较少的情形，此外，前者对噪声的鲁棒性比后者要强得多。" > > — 周志华, 《机器学习》第15章 15.2节 "序贯覆盖"（自顶向下 vs 自底向上） > "最初生成 R 的时候，规则是按序生成的，每条规则都没有对其后产生的规则加以考虑，这样的贪心算法本质常导致算法陷入局部最优。" > > — 周志华, 《机器学习》第15章 15.3节 "剪枝优化" --- ## I — 方法论骨架 (Interpretation) 规则学习产出的是一组"若……则……"的逻辑规则：语义明确、能描述数据隐含的客观规律，用户能直观看清判别过程——这是它与黑箱模型的根本分野。但可解释不是免费的，整条路线由四个决策串起来。 **决策一：真的需要规则吗？** 若可解释性/合规审计/领域知识注入是硬需求，规则路线成立；若只是精度优先且没人读模型，黑箱往往更强。 **决策二：命题还是一阶？** 命题规则检验单个对象的属性值（色泽=乌黑），表达力够用且学习简单；一旦任务本质是对象之间的关系（"瓜1比瓜2更好"、"父亲的父亲是爷爷"），命题逻辑就到了天花板，必须上一阶规则（带谓词和变量的关系型规则），代价是学习复杂度陡增。 **决策三：搜索方向。** 自顶向下从一般规则出发逐文字特化（生成-测试），覆盖范围从大往小：容易产生泛化好的规则、抗噪强得多，是命题规则学习的默认；自底向上从特殊事实出发逐文字泛化（数据驱动）：适合小样本与一阶逻辑这类假设空间极复杂的任务。方向选错会系统性吃亏。 **决策四：防过拟合与防贪心。** 规则生成本质是贪心搜索，须配剪枝（预剪枝如 CN2 的似然率显著性检验；后剪枝如 REP/IREP）；更进一步，RIPPER 式后处理把整个规则集放在一起重新优化（替换/修订规则再全局比较）——因为序贯覆盖逐条生成时前面的规则完全不知道后面会长什么样，只有全局重看才能缓解局部最优。 --- ## A1 — 书中的应用 (Past Application) ### 案例 1: 西瓜数据集5.0——关系数据逼出一阶规则 (c35) - **问题**: 现实中挑西瓜很难给绝对阈值——"色泽看起来多深才叫青绿？敲声多低才叫沉闷？"属性值描述失灵，人实际靠相互比较："瓜1的颜色比瓜2更深、根蒂比瓜2更蜷，所以瓜1更好"。这已超越命题逻辑的表达能力。 - **方法论的使用**: 作者把西瓜数据集2.0转化为表15.1的关系数据集5.0——定义六条序关系背景知识（乌黑>青绿>浅白等），样例改写为对象间比较的事实；然后用 FOIL（序贯覆盖框架 + 自顶向下归纳）在关系数据上学"更好(X,Y)"概念，以 FOIL 增益选择候选文字——它只用正例的信息量并以新增正例数为加权，因为关系数据中正例远少于反例。 - **结论**: 学得"(∀X,∀Y) 更好(X,Y)←根蒂更蜷(X,Y)∧脐部更凹(X,Y)"这样的一阶规则；FOIL 还能表达递归概念（更好(X,Y)←更好(X,Z)∧更好(Z,Y)），这是命题规则原则上写不出的。 -