Inductive

Inductive（归纳） 是一种从具体实例、有限观测或已有经验中总结一般规律的推理方式。

在 Machine Learning 中，归纳是模型从有限的训练数据中学习一般规律，并将其应用到训练数据之外的新样本上的基本过程。

与之相对的是 Deductive（演绎）：演绎从一般规则出发推导具体结论，而归纳则从具体观察中总结一般规律。

例如：

观察：

* 天鹅 A 是白色的 * 天鹅 B 是白色的 * 天鹅 C 是白色的

归纳：

“天鹅通常是白色的。”

这个结论并不是逻辑上的必然真理，而是根据有限观察形成的一般性假设。

Inductive Reasoning（归纳推理） 是从有限的具体观察推断一般规律的推理过程。

其基本结构可以表示为：

具体样本 → 发现模式 → 总结规律 → 应用于未知样本

归纳推理的特点是：

* 前提可以是真的 * 推出的结论也可能是错的 * 结论通常具有概率性，而不是逻辑必然性

因此：

归纳推理不能保证结论正确，但可以通过更多数据提高可靠性。

在 Machine Learning 中，Inductive Learning（归纳学习）指从训练数据中学习一个能够推广到未知数据的函数。

假设训练数据为：

D = {(x₁, y₁), (x₂, y₂), ..., (xₙ, yₙ)}

模型希望学习一个函数：

f(x) ≈ y

训练阶段只能观察有限的 D，但最终目标并不是记住 D，而是让 f 能够处理没有出现在训练集中的新样本。

因此：

训练数据 → 学习规律 → 泛化到未知数据

这就是 Generalization 的基本思想。

归纳学习存在一个根本问题：

有限的数据通常不足以唯一确定一个一般规律。

例如，只知道：

f(1) = 1 f(2) = 4

那么满足这两个条件的函数有无穷多个。

例如：

f(x) = x²

和许多其他函数都可以通过这两个训练样本。

因此，机器学习模型必须利用某种关于“什么样的规律更合理”的先验假设。

这种假设称为 Inductive Bias（归纳偏置）。

归纳学习可以理解为：

数据 + 归纳偏置 → 学习到的规律

不同模型具有不同的归纳偏置。

线性模型

假设数据之间的关系可以由近似线性的函数表示。

CNN

CNN 的局部连接和权重共享体现了对图像空间结构的归纳偏置。

模型倾向于认为：

相邻像素之间具有较强关系，并且相同的局部模式可以出现在不同位置。

Transformer

Transformer 使用 Attention 建立不同位置之间的关系，因此相比 CNN，它对固定局部结构的假设更弱。

RNN

RNN 假设序列数据具有按照时间顺序逐步处理的结构。

因此，可以把不同模型理解为：

不同模型结构 → 不同归纳偏置 → 不同的学习效率与泛化方式

归纳偏置与 Generalization 密切相关。

如果模型的归纳偏置与数据真实结构匹配，那么模型通常可以使用较少的数据学习到较好的规律。

例如，在图像任务中，CNN 对局部空间结构具有较强的归纳偏置，因此在相同数据规模下，可以更有效地利用图像中的空间规律。

但如果归纳偏置与真实数据结构不匹配，也可能限制模型的性能。

因此：

归纳偏置不是单纯的“好”或“坏”，关键在于它是否与任务结构匹配。

Deep Learning 的一个重要特点，是可以通过大量数据和参数学习复杂的表示，而不是完全依赖人工设计的规则。

传统机器学习通常具有比较明显的人工归纳偏置。

例如：

手工设计特征 → 学习分类器

深度学习则更多采用：

原始数据 → Neural Network → 自动学习表示 → 任务输出

但这并不意味着深度学习不存在归纳偏置。

网络结构、优化算法、训练数据、正则化方法、初始化方式以及参数化方式都会形成不同程度的归纳偏置。

因此：

深度学习不是没有 Inductive Bias，而是将一部分归纳偏置从人工特征设计转移到了模型结构和学习过程之中。

LLM 同样属于归纳学习系统。

例如模型在训练过程中观察大量文本：

文本数据 → 学习统计规律 → 学习语言表示 → 预测新的 Token

模型并没有直接看到所有可能的句子，而是根据训练数据学习语言中的规律，并将这些规律推广到新的上下文。

因此，LLM 的能力本质上也涉及：

有限训练数据 → 学习规律 → Generalization

同时，Transformer 的结构、训练目标、数据分布和 Scaling 等因素都会影响模型最终形成的归纳偏置。

Inductive 和 Deductive 可以进行对比：

例如：

归纳：

“观察到许多金属受热膨胀 → 总结金属通常具有热膨胀性质。”

演绎：

“所有符合规则 R 的物体都具有性质 P → 物体 X 符合规则 R → X 具有 P。”

归纳的结论具有不确定性，而在前提和逻辑规则正确的情况下，演绎具有必然性。

在机器学习中还需要区分 Inductive Learning 和 Transductive Learning（直推式学习）。

Inductive Learning

训练数据 → 学习一般规律 → 应用于新的未知数据

目标是学习一个能够泛化的函数。

Transductive Learning

训练数据 + 特定的未标注测试数据 → 推断这些特定测试样本的结果

它更加关注：

如何从当前已知数据推断特定未知数据。

因此：

Inductive → 学习一般规律 Transductive → 针对特定未知样本进行推断

机器学习之所以能够工作，一个核心原因就是归纳。

模型不可能通过训练数据直接看到所有未来输入，而必须从有限样本中提取规律，并将规律推广到未见数据。

因此：

Induction 是从有限经验走向未知数据的基本机制。

而 Inductive Bias 则决定了模型在面对有限数据时，倾向于相信什么样的规律。

这也是机器学习中的一个核心问题：

有限数据 + 先验假设 → 能否得到可靠的泛化？

* Inductive Bias * Machine Learning * Generalization * Deep Learning * CNN * Transformer * Deductive * Transductive Learning

* Tom M. Mitchell, 1997, Machine Learning * Vladimir N. Vapnik, 1998, Statistical Learning Theory * Peter L. Bartlett and Shahar Mendelson, 2002, Rademacher and Gaussian Complexities: Risk Bounds and Structural Results