Inductive Bias（归纳偏置） 是 Machine Learning 中指模型在面对有限训练数据和未知情况时，对可能规律所做的先验假设或偏好。

归纳偏置是 Inductive Learning 的核心概念之一。

其根本原因是：

有限的训练数据通常无法唯一确定一个函数。

因此，机器学习模型必须以某种方式对“哪些规律更可能正确”做出假设，并利用这些假设将训练数据中的规律推广到未见数据。

简单来说：

训练数据告诉模型“已经发生了什么”，归纳偏置影响模型“相信接下来会怎样”。

假设训练数据只有：

(1, 1), (2, 4), (3, 9)

我们可能猜测真实规律是：

f(x) = x²

但是实际上，无数个不同的函数都可以通过这三个点。

例如，可以构造一个函数 g(x)，使：

g(1) = 1 g(2) = 4 g(3) = 9

但在 x = 4 时：

g(4) ≠ 16

因此，仅凭训练数据，无法逻辑上确定唯一的正确规律。

机器学习必须在众多可能的假设中选择一个。

这种“选择倾向”就是归纳偏置。

归纳学习可以简单表示为：

训练数据 + 归纳偏置 → 学习算法 → 模型 → Generalization

其中：

训练数据

提供模型观察到的具体实例。

归纳偏置

限制或偏好模型可能学习的规律。

学习算法

根据训练数据寻找符合这些假设的模型。

泛化

将学习到的规律应用于训练数据之外的新样本。

因此：

没有归纳偏置，有限数据通常不足以确定一个能够泛化的规律。

理解归纳偏置的一个重要概念是 Hypothesis Space（假设空间）。

假设空间 H 表示学习算法可能选择的所有模型。

例如，如果规定：

h(x) = wx + b

那么假设空间只包含线性函数。

如果允许使用多项式：

h(x) = a₀ + a₁x + a₂x² + ...

那么假设空间就扩大了。

神经网络通常具有非常大的假设空间。

归纳偏置可以理解为：

在庞大的假设空间中，模型倾向于选择某一类假设。

归纳偏置并不一定来自一个显式的“规则”，它可能来自机器学习系统的多个部分。

主要包括：

* 模型结构 * 参数化方式 * Loss Function * Optimization 算法 * 初始化方式 * 正则化 * 训练数据 * 数据增强 * 训练过程

因此，即使两个模型具有相同的结构，只要训练方法不同，也可能表现出不同的归纳偏置。

CNN 是理解归纳偏置最经典的例子之一。

CNN 使用：

* 局部连接 * 权重共享 * 平移等变性 * 层级特征提取

这些结构都隐含了关于图像的假设。

例如：

图像中的局部区域通常比远距离区域具有更强的关系。

以及：

同一种局部模式出现在图片不同位置时，仍然具有相似意义。

因此 CNN 的结构天然偏向于学习空间局部结构。

这是一种较强的归纳偏置。

Transformer 与 CNN 的归纳偏置有所不同。

Transformer 的核心 Attention 机制允许不同位置之间直接建立关系，因此它对固定局部结构的假设相对较弱。

例如，对于序列：

x₁, x₂, ..., xₙ

Self-Attention 可以直接建立：

xᵢ ↔ xⱼ

之间的关系。

因此 Transformer 能够比较灵活地学习不同位置之间的依赖关系。

但这并不意味着 Transformer 没有归纳偏置。

它仍然具有来自：

* Attention 结构 * Positional Encoding * 参数共享 * Pretraining * 优化方法 * 数据分布

等方面的归纳偏置。

可以粗略理解为：

CNN：

人为加入较强的空间结构假设 → 用较少数据学习视觉模式

Transformer：

减少部分固定结构假设 → 让模型从数据中学习更多关系

这也是深度学习发展中的一个重要趋势：

从人工设计的强归纳偏置，逐渐转向通过大规模数据学习更加灵活的表示。

但这并不是“归纳偏置越来越少”这么简单，而是归纳偏置的形式发生了变化。

早期机器学习通常会显式设计大量领域知识。

例如：

图像 → 手工特征 → 分类器

其中手工特征本身就包含很强的归纳偏置。

深度学习则更多采用：

原始数据 → Neural Network → 自动学习表示 → 输出

这并不意味着深度学习没有归纳偏置，而是：

一部分原本由人工特征工程提供的归纳偏置，被转移到了模型结构、训练算法和数据中。

归纳偏置与 Overfitting 有直接关系。

假设一个模型具有非常大的假设空间，它可能找到一个模型：

几乎完美拟合训练数据，但无法泛化到新数据。

而更强的归纳偏置可能限制模型的选择范围，使模型更倾向于学习简单、结构化的规律。

因此归纳偏置可以帮助减少过拟合。

但归纳偏置过强也可能产生 Underfitting。

例如真实数据具有非常复杂的非线性关系，但模型强行假设：

y = wx + b

那么模型可能无法表达真实规律。

因此存在一个重要权衡：

归纳偏置太弱 → 容易过拟合

归纳偏置太强 → 容易欠拟合

归纳偏置与数据量之间存在重要关系。

当数据非常少时，合理的归纳偏置可以显著减少学习所需要的数据。

例如，对于图像任务，CNN 预先假设图像存在局部空间结构，因此不需要完全依靠数据自己学习这一事实。

而当数据规模非常大时，模型可以从数据中学习越来越多的结构。

这也是 Scaling 和现代 Foundation Model 研究中的重要问题：

随着数据、模型参数和计算量增加，需要多少人工归纳偏置？

现代大模型在一定程度上表现出：

减少部分任务特定的人工假设 + 增加模型规模和数据 → 从数据中学习更加通用的规律。

归纳偏置还与 No Free Lunch Theorem（没有免费午餐定理）有关。

直观来说：

不存在一种学习算法能够在所有可能的数据分布和任务上都表现最好。

如果一个算法在某些问题上表现特别好，那么通常意味着它对这些问题具有某种适合的先验假设。

例如：

CNN 对具有空间局部结构的图像任务非常有效。

这并不意味着 CNN 对所有类型的数据都一定优于其他模型。

因此：

模型性能 = 学习算法 + 数据 + 与任务匹配的归纳偏置

归纳偏置是 Statistical Learning Theory 中的重要概念。

经典机器学习理论通常研究：

* 假设空间 * VC Dimension * Generalization * Regularization * Empirical Risk Minimization

这些理论试图回答：

一个模型为什么能够从有限训练样本中学习出具有泛化能力的规律？

从这个角度来看，归纳偏置是连接：

有限数据 → 学习 → 泛化

的重要桥梁。

现代神经网络通常具有非常大的参数量，甚至能够将训练数据几乎完全拟合。

这产生了一个经典问题：

如果模型可以拟合大量完全不同的函数，那么它为什么仍然能够在实际任务中表现出良好的泛化？

这也是现代 Deep Learning 理论研究的重要问题之一。

研究发现，不能只从“模型结构”本身理解归纳偏置，还需要考虑：

优化算法 + 参数化方式 + 初始化 + 数据 + 训练过程

共同形成的有效归纳偏置。

例如，即使两个神经网络具有相同的架构，不同的优化过程也可能使它们最终倾向于不同的解。

可以把归纳偏置理解为：

模型对“世界中的规律应该长什么样”所做的假设。

训练数据：

“这些事情发生过。”

归纳偏置：

“我认为未来的规律应该具有某种形式。”

学习算法：

“在这些假设中寻找能够解释数据的模型。”

最终：

从有限数据泛化到未知数据。

因此，归纳偏置是 Inductive Learning 能够进行的根本原因之一。

* Inductive * Inductive Learning * Generalization * Hypothesis Space * Overfitting * CNN * Transformer * Statistical Learning Theory

* Tom M. Mitchell, 1997, Machine Learning * Vladimir N. Vapnik, 1998, Statistical Learning Theory * Peter L. Bartlett and Shahar Mendelson, 2002, Rademacher and Gaussian Complexities: Risk Bounds and Structural Results * Geoffrey Hinton, Oriol Vinyals and Jeff Dean, 2015, Distilling the Knowledge in a Neural Network