Generalization

Generalization（泛化） 是 Machine Learning 中指模型在未参与训练的新数据上仍然能够保持良好表现的能力。

机器学习的目标并不是简单地记住训练数据，而是从有限的训练样本中学习具有普遍性的规律，并将这些规律应用于未知样本。

因此，机器学习可以概括为：

有限数据 → 学习规律 → 未知数据 → 泛化

泛化能力是评价机器学习模型是否真正“学会”的核心指标之一。

假设我们有一个分类任务。

训练数据：

猫 → 猫

狗 → 狗

模型如果只是记住训练图片，那么当输入一张训练集中没有出现过的新猫图片时，它可能无法正确分类。

真正的机器学习模型需要学习：

什么特征使一个对象更可能是猫，而不是记住某一张具体的猫图片。

因此：

训练集表现好 ≠ 泛化能力好

真正重要的是：

模型能否在没有见过的数据上表现良好。

设训练集为：

D_train

模型在训练集上的平均损失称为训练误差（Training Error）：

R_train(f) = 1/n Σ L(f(xᵢ), yᵢ)

但我们真正关心的是模型面对未来未知数据时的平均误差。

假设数据来自真实分布 P(X,Y)，则可以定义期望风险（Expected Risk）：

R(f) = E[L(f(X), Y)]

因此：

训练误差

模型在已经观察过的数据上的表现。

泛化误差

模型在未知数据上的表现。

机器学习希望：

R_train(f) ≈ R(f)

即训练数据上的表现能够反映模型在真实数据分布上的表现。

Overfitting 是泛化问题中最重要的现象之一。

典型情况：

训练误差 ↓↓↓ 测试误差 ↑

模型在训练数据上的表现越来越好，但在新数据上的表现反而变差。

这是因为模型可能学习了：

* 训练数据中的真实规律 * 训练数据中的噪声 * 偶然出现的特征 * 样本中特定的细节

而不仅仅是真正具有普遍性的规律。

因此：

过拟合 = 训练数据上的学习超过了对未知数据有用的程度。

Underfitting 是另一种情况。

模型本身的表达能力不足，无法充分学习训练数据中的规律。

表现通常为：

训练误差高 测试误差也高

例如真实关系非常复杂，却使用一个过于简单的线性模型。

因此：

欠拟合 → 模型没有学够

过拟合 → 模型学得过于针对训练数据

泛化是 Inductive Learning 的核心目标。

归纳学习：

具体样本 → 一般规律

泛化：

一般规律 → 未见样本

二者可以连接起来理解：

训练数据 ↓ Inductive Learning ↓ 学习一般规律 ↓ Generalization ↓ 应用于未知数据

因此，没有泛化能力的模型，即使能够完美拟合训练数据，也很难称为真正有效的机器学习模型。

Inductive Bias 对泛化具有重要影响。

有限训练数据通常无法唯一确定真实规律。

例如：

(1,1), (2,4), (3,9)

可以有很多函数完全符合这些训练数据。

模型必须利用某种偏好，从多个可能的函数中选择一个。

如果这个偏好与真实问题的结构匹配，就可能得到较好的泛化。

因此：

训练数据 + Inductive Bias → 学习规律 → Generalization

例如：

CNN 假设图像具有局部空间结构。

这种归纳偏置通常适合视觉任务，因此 CNN 可以较高效地学习图像中的规律。

直觉上，模型越复杂，就越容易拟合训练数据。

如果模型过于简单：

表达能力不足 → 欠拟合

如果模型过于复杂：

容易拟合噪声 → 过拟合

因此传统机器学习中经常讨论模型复杂度与泛化之间的权衡。

但现代深度学习出现了一个重要现象：

即使模型拥有远超训练样本数量的参数，也可能具有良好的泛化能力。

这使得传统的“模型越复杂越容易过拟合”的简单解释变得不够充分。

现代机器学习研究中出现了 Double Descent（双下降）现象。

随着模型复杂度增加，测试误差有时会经历：

下降 → 上升 → 再下降

而不是传统机器学习中简单的：

模型复杂度增加 → 泛化越来越差

这一现象说明：

模型复杂度与泛化之间的关系可能比传统的偏差—方差权衡更加复杂。

双下降也成为理解现代深度学习泛化的重要研究方向之一。

Deep Learning 中的泛化问题尤其有趣。

现代神经网络通常具有大量参数，甚至具有：

参数数量 > 训练样本数量

的情况。

按照传统直觉，这种模型应该非常容易过拟合。

然而实际中，大型神经网络经过 Gradient Descent 等优化方法训练后，往往仍然能够在测试数据上取得良好表现。

因此现代深度学习的泛化研究不再只关注：

模型有多少参数？

还关注：

* 模型结构 * 参数化方式 * Optimization * 初始化 * 数据分布 * 正则化 * 训练过程 * 数据规模

神经网络训练中的一个重要概念是 Implicit Regularization（隐式正则化）。

即使训练过程中没有明确加入某种正则化项，优化算法本身也可能使模型倾向于选择某些类型的解。

例如：

Gradient Descent

并不一定会在所有能够达到低训练误差的参数解之间完全随机选择，而可能存在某种偏好的解。

这种由：

模型参数化 + 优化算法 + 初始化 + 数据

共同产生的偏好，可以看作有效归纳偏置或隐式正则化的一部分。

因此：

训练算法本身也会影响泛化。

Regularization 是传统机器学习中提高泛化能力的重要方法。

常见方法包括：

* L1 正则化 * L2 正则化 * Weight Decay * Dropout * Early Stopping * Data Augmentation

例如 L2 正则化会在损失函数中增加参数大小相关的惩罚：

L_total = L_data + λ||θ||²

通过限制模型参数，可以降低模型对训练数据中偶然细节的依赖。

Statistical Learning Theory 尝试从理论上解释泛化。

一个基本思路是建立：

训练误差 → 泛化误差

之间的上界。

例如可以抽象表示为：

R(f) ≤ R_train(f) + Complexity(H, n)

其中：

* R(f) 是真实风险。 * R_train(f) 是经验风险。 * H 是假设空间。 * n 是训练样本数量。

第二项反映模型假设空间的复杂程度以及训练数据规模。

经典理论中的相关概念包括：

* VC Dimension * Rademacher Complexity * PAC Learning * Uniform Convergence

泛化并不是无条件成立的。

通常需要假设：

训练数据和测试数据来自相同或相近的数据分布。

例如：

训练：

中国大学生考试数据

测试：

中国大学生考试数据

通常比较容易进行泛化。

但如果测试数据变成：

完全不同国家、不同教育体系、不同考试形式

那么训练分布和测试分布可能发生明显变化。

这类问题称为：

Distribution Shift（分布偏移）

因此：

泛化 ≠ 在任何环境下都有效。

更准确地说，机器学习通常希望模型能够泛化到与训练数据具有一定关系的未知数据。

当测试数据与训练数据存在较大差异时，会涉及：

Out-of-Distribution Generalization（分布外泛化）

例如：

训练：

晴天天气下的道路图片

测试：

雨天、雪天、夜间道路图片

模型如果仍然能够识别车辆和道路，就具有更强的分布外泛化能力。

这比传统的 IID 测试更加困难，也是现代机器学习的重要研究问题。

LLM 的泛化问题更加复杂。

大型语言模型训练时不可能看到所有未来产生的文本，但希望模型能够处理：

* 新句子 * 新问题 * 新组合 * 新任务 * 未见过的上下文

因此 LLM 也必须进行泛化。

例如：

训练数据中可能没有出现某个具体问题，但模型能够利用已经学习到的语言和知识结构解决类似问题。

这可以看作：

已知知识和模式 → 新组合 → 泛化

但 LLM 的泛化能力仍然受到训练数据分布、模型规模、任务类型和分布偏移等因素影响。

Scaling 研究发现，在一定范围内增加：

* 模型规模 * 数据规模 * 训练计算量

可以持续改善模型性能。

这与传统的“模型越大越容易过拟合”的简单直觉形成对比。

大模型研究因此提出了一个重要问题：

为什么拥有极大参数量的模型仍然能够泛化？

目前并不存在一个能够完全解释现代大模型泛化现象的单一理论。

相关研究涉及：

* Inductive Bias * Implicit Regularization * Optimization * Scaling Laws * 数据分布 * 模型参数化

模型能够记忆训练数据，并不意味着它一定无法泛化。

现代神经网络可能同时具有：

Memorization（记忆）

和

Generalization（泛化）

能力。

例如模型可能直接记住某些训练样本，同时又能够学习更一般的模式。

因此：

记忆和泛化并不是简单的二选一。

这也是研究现代 Deep Learning 和 LLM 时的重要问题。

常见方法包括：

* 增加高质量训练数据 * 使用合适的模型结构 * 引入合理的 Inductive Bias * 使用 Regularization * 使用 Data Augmentation * 防止数据泄漏 * 合理进行模型选择 * 使用独立的验证集和测试集 * 提高训练数据与实际应用数据的匹配程度

其中最重要的并不是某一种单独技巧，而是：

让模型学习到真正与任务相关、能够迁移到未知样本的规律。

可以把 Generalization 简单理解为：

“模型有没有学会规律，而不是只记住答案？”

例如：

训练：

1 + 1 = 2

2 + 2 = 4

3 + 3 = 6

如果模型只记住这些答案，那么它并没有真正泛化。

如果它学习到了：

两个相同数字相加等于该数字的两倍

那么面对：

100 + 100

也可以得到正确结果。

因此：

泛化就是从具体经验中获得可以应用于新情况的规律。

这也是机器学习最核心的问题之一：

如何利用有限的数据，让模型学习到能够适用于无限潜在输入的规律。

* Machine Learning * Inductive Learning * Inductive Bias * Overfitting * Underfitting * Regularization * Statistical Learning Theory * Distribution Shift * Scaling * LLM

* Vladimir N. Vapnik, 1998, Statistical Learning Theory * Shai Shalev-Shwartz and Shai Ben-David, 2014, Understanding Machine Learning: From Theory to Algorithms * Peter L. Bartlett and Shahar Mendelson, 2002, Rademacher and Gaussian Complexities: Risk Bounds and Structural Results * Mikhail Belkin et al., 2019, Reconciling modern machine-learning practice and the classical bias–variance trade-off * Preetum Nakkiran et al., 2020, Deep Double Descent: Where Bigger Models and More Data Hurt * Behnam Neyshabur et al., 2017, Exploring Generalization in Deep Learning