RNN（Recurrent Neural Network，循环神经网络） 是一类专门用于处理序列数据（Sequential Data）的 Neural Network。

RNN 的核心思想是：模型在处理当前输入时，不仅考虑当前输入 xₜ，还利用前一个时间步产生的隐藏状态（Hidden State） hₜ₋₁，从而将过去的信息传递到当前计算中。

其核心计算可以表示为：

hₜ = f(Wₕₕhₜ₋₁ + Wₓₕxₜ + b)

yₜ = g(Wᵧₕhₜ + bᵧ)

其中：

* xₜ：当前时间步的输入。 * hₜ：当前隐藏状态。 * hₜ₋₁：前一个时间步的隐藏状态。 * yₜ：当前输出。 * Wₓₕ、Wₕₕ、Wᵧₕ：模型参数。 * f、g：激活函数或输出函数。

RNN 的关键特征是：

当前状态 = 当前输入 + 过去状态

因此它能够在处理序列时保留一定的历史信息。

RNN 并不存在一个唯一的发明者，其思想来自早期对反馈神经网络和动态系统的研究。

1980 年代，Jeffrey Elman 和 Michael Jordan 等人分别提出了具有代表性的简单循环网络。

1986 年

David E. Rumelhart、Geoffrey Hinton 和 Ronald Williams 提出了 Backpropagation 方法，为后来训练循环网络提供了重要基础。

1990 年

Jeffrey Elman 在论文 Finding Structure in Time 中提出著名的 Elman Network，通过隐藏状态保存序列历史信息，成为现代 RNN 的经典形式之一。

1997 年

LSTM（Long Short-Term Memory）由 Sepp Hochreiter 和 Jürgen Schmidhuber 提出，用于解决传统 RNN 难以学习长期依赖的问题。

2014 年

Kyunghyun Cho 等人提出 GRU（Gated Recurrent Unit），提供了一种结构更简单的门控循环网络。

RNN 在 2010 年代曾经是 NLP、语音识别和时间序列建模的重要基础架构，后来逐渐被 Transformer 大规模取代。

普通的前馈 Neural Network 可以理解为：

输入 → 网络 → 输出

每次输入之间通常没有直接的内部状态传递。

RNN 则加入了循环结构：

xₜ → hₜ → hₜ₊₁ → hₜ₊₂ → ...

因此：

x₁ → h₁

x₂ + h₁ → h₂

x₃ + h₂ → h₃

x₄ + h₃ → h₄

模型通过隐藏状态将过去的信息传递到未来。

RNN 在结构上存在循环：

hₜ₋₁ → hₜ → hₜ₊₁

为了训练，可以把循环沿时间方向展开：

x₁ → h₁ → h₂ → h₃ → ... → hₙ

其中每一个时间步使用相同的一组参数。

因此虽然展开后看起来有很多层，但这些时间步实际上共享参数。

这种结构称为：

参数共享（Parameter Sharing）

RNN 可以处理不同形式的输入输出关系。

Many-to-One

多个输入 → 一个输出

例如：

词₁ → 词₂ → 词₃ → 词₄ → 分类

可以用于文本情感分类。

One-to-Many

一个输入 → 多个输出

例如：

图像 → 单词序列

可以用于早期的图像描述生成。

Many-to-Many

多个输入 → 多个输出

例如：

词₁ → 标签₁ 词₂ → 标签₂ 词₃ → 标签₃

可以用于 Sequence Labeling。

Encoder-Decoder

输入序列 → 编码 → 输出序列

曾经广泛用于机器翻译等 NLP 任务。

RNN 特别适合具有时间或顺序关系的数据。

例如：

* 文本 * 语音 * 股票时间序列 * 传感器数据 * 用户行为序列 * 音乐 * 视频帧序列

对于：

我 → 喜欢 → 学习 → 人工智能

RNN 在处理“人工智能”时，可以通过隐藏状态间接获得之前词语的信息。

因此 RNN 的核心假设之一是：

当前信息与过去的信息存在关系。

这构成了 RNN 的一种 Inductive Bias。

RNN 通常使用 Backpropagation Through Time（BPTT，时间反向传播）进行训练。

首先将 RNN 沿时间展开：

x₁ → h₁ → h₂ → h₃ → ... → hₜ

然后像普通神经网络一样进行 Backpropagation，但梯度需要沿着时间方向传播。

因此：

Loss → hₜ → hₜ₋₁ → hₜ₋₂ → ... → h₁

这就是 BPTT。

普通 RNN 的主要问题之一是梯度消失（Vanishing Gradient）。

在 BPTT 中，梯度需要经过多个时间步传播。

如果每一步的梯度都乘以一个小于 1 的因子：

∂L/∂hₜ₋ₖ ≈ ∏ Jᵢ

随着时间步增加，这个乘积可能快速趋近于 0。

结果是：

距离当前很远的信息 → 梯度越来越小 → 很难学习长期依赖

例如：

“我小时候生活在法国……经过很多描述……我会说流利的 ___。”

模型需要记住很久以前的“法国”，但普通 RNN 很难稳定地保留这种长期信息。

RNN 还可能出现梯度爆炸（Exploding Gradient）。

如果反向传播过程中梯度不断放大：

∏ Jᵢ → 很大

就可能导致参数更新异常巨大，训练变得不稳定。

常见解决方法之一是：

Gradient Clipping（梯度裁剪）

当梯度超过指定范围时限制其大小。

为了解决普通 RNN 难以学习长期依赖的问题，Hochreiter 和 Schmidhuber 在 1997 年提出了 LSTM。

LSTM 引入了：

* Cell State * Forget Gate * Input Gate * Output Gate

核心思想是让信息能够沿着 Cell State 更稳定地传播。

可以粗略表示为：

输入 → 门控机制 → 决定保留什么 / 删除什么 / 写入什么 → 新状态

因此 LSTM 能够比普通 RNN 更有效地处理长期依赖。

GRU 是另一种门控循环网络，由 Cho 等人在 2014 年提出。

相比 LSTM，GRU 的结构更加简单。

它主要通过：

* Update Gate * Reset Gate

控制历史信息和当前信息的组合。

因此：

RNN → 基础循环结构

LSTM / GRU → 加入门控机制的 RNN

Bidirectional RNN（双向循环神经网络） 同时从两个方向处理序列：

正向：

x₁ → x₂ → x₃ → ... → xₙ

反向：

xₙ → xₙ₋₁ → xₙ₋₂ → ... → x₁

最终将两个方向的隐藏状态结合起来。

这样模型可以同时利用：

过去信息 + 未来信息

因此特别适合需要利用完整上下文的序列任务。

RNN 和 Transformer 都可以处理序列数据，但基本机制不同。

RNN

x₁ → h₁ → h₂ → h₃ → ...

信息主要通过隐藏状态逐步传播。

Transformer

x₁ ↔ x₂ ↔ x₃ ↔ ...

通过 Attention 直接建立不同位置之间的关系。

因此二者有几个重要区别。

并行计算

RNN 的时间步存在依赖：

hₜ 必须等待 hₜ₋₁

因此训练时难以完全并行。

Transformer 可以同时计算多个位置的 Attention，因此更加适合 GPU 大规模并行训练。

长期依赖

RNN 需要通过多个时间步传递信息。

Transformer 可以通过 Attention 直接连接远距离 Token。

因此长距离依赖通常更加容易处理。

计算复杂度

标准 Self-Attention 的计算量通常随序列长度呈平方增长：

O(n²)

而 RNN 每个时间步处理固定维度状态，理论上通常可以达到：

O(n)

因此 RNN 在超长序列的理论计算复杂度方面存在优势。

不过 RNN 的顺序依赖限制了硬件并行能力，而 Transformer 的高并行性使其在现代大规模训练中更具优势。

2017 年 Transformer 提出后，RNN 在 NLP 中逐渐失去主流地位。

主要原因包括：

* RNN 难以进行大规模并行训练。 * 长距离依赖难以处理。 * BPTT 训练过程复杂。 * Transformer 可以利用 Attention 直接建立远距离依赖。 * Transformer 更适合现代 GPU / TPU 的大规模矩阵计算。

因此 NLP 的主流架构逐渐经历：

RNN → LSTM / GRU → Transformer

不过这并不意味着 RNN 已经没有价值。

RNN 的思想仍然影响着：

* 序列建模 * 状态空间模型 * 时间序列预测 * 流式推理 * 在线学习

近年来，一些新的序列模型也重新探索了“循环状态”的思想。

* 天然适合序列数据。 * 能够维护随时间变化的隐藏状态。 * 参数在不同时间步共享。 * 理论上可以处理任意长度的序列。 * 对于某些流式任务，可以逐步处理输入。 * 单步状态的计算和存储相对简单。

* 时间步之间存在顺序依赖。 * 难以充分利用 GPU 并行计算。 * 普通 RNN 容易出现梯度消失和梯度爆炸。 * 长期依赖难以学习。 * 长序列训练速度较慢。 * 在现代大规模 NLP 中通常不如 Transformer。

RNN 的重要思想是：

神经网络不仅可以处理独立的输入，还可以通过隐藏状态维护历史信息。

也就是说，模型不再只是：

y = f(x)

而是：

hₜ = f(xₜ, hₜ₋₁)

因此当前输出不仅取决于当前输入，也取决于过去的状态。

这一思想奠定了现代序列建模的重要基础。

从发展历史来看，可以理解为：

RNN → LSTM / GRU → Attention → Transformer → LLM

RNN 解决了“如何让神经网络记住序列历史”的问题，而 Transformer 则进一步改变了“如何在序列中建立依赖关系”的方式。

* Neural Network * Deep Learning * LSTM * GRU * Transformer * Attention * NLP * Backpropagation * Gradient Vanishing * Inductive Bias

* Jeffrey L. Elman, 1990, Finding Structure in Time * Sepp Hochreiter and Jürgen Schmidhuber, 1997, Long Short-Term Memory * Kyunghyun Cho et al., 2014, Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation * Yoshua Bengio, Patrice Simard and Paolo Frasconi, 1994, Learning Long-Term Dependencies with Gradient Descent is Difficult * Ashish Vaswani et al., 2017, Attention Is All You Need

RNN（Recurrent Neural Network，循环神经网络） 是一类专门用于处理序列数据（Sequential Data）的 Neural Network。

RNN 的核心思想是：模型在处理当前输入时，不仅考虑当前输入 xₜ，还利用前一个时间步产生的隐藏状态（Hidden State） hₜ₋₁，从而将过去的信息传递到当前计算中。

其核心计算可以表示为：

hₜ = f(Wₕₕhₜ₋₁ + Wₓₕxₜ + b)

yₜ = g(Wᵧₕhₜ + bᵧ)

其中：

* xₜ：当前时间步的输入。 * hₜ：当前隐藏状态。 * hₜ₋₁：前一个时间步的隐藏状态。 * yₜ：当前输出。 * Wₓₕ、Wₕₕ、Wᵧₕ：模型参数。 * f、g：激活函数或输出函数。

RNN 的关键特征是：

当前状态 = 当前输入 + 过去状态

因此它能够在处理序列时保留一定的历史信息。

RNN 并不存在一个唯一的发明者，其思想来自早期对反馈神经网络和动态系统的研究。

1980 年代，Jeffrey Elman 和 Michael Jordan 等人分别提出了具有代表性的简单循环网络。

1986 年

David E. Rumelhart、Geoffrey Hinton 和 Ronald Williams 提出了 Backpropagation 方法，为后来训练循环网络提供了重要基础。

1990 年

Jeffrey Elman 在论文 Finding Structure in Time 中提出著名的 Elman Network，通过隐藏状态保存序列历史信息，成为现代 RNN 的经典形式之一。

1997 年

LSTM（Long Short-Term Memory）由 Sepp Hochreiter 和 Jürgen Schmidhuber 提出，用于解决传统 RNN 难以学习长期依赖的问题。

2014 年

Kyunghyun Cho 等人提出 GRU（Gated Recurrent Unit），提供了一种结构更简单的门控循环网络。

RNN 在 2010 年代曾经是 NLP、语音识别和时间序列建模的重要基础架构，后来逐渐被 Transformer 大规模取代。

普通的前馈 Neural Network 可以理解为：

输入 → 网络 → 输出

每次输入之间通常没有直接的内部状态传递。

RNN 则加入了循环结构：

xₜ → hₜ → hₜ₊₁ → hₜ₊₂ → ...

因此：

x₁ → h₁

x₂ + h₁ → h₂

x₃ + h₂ → h₃

x₄ + h₃ → h₄

模型通过隐藏状态将过去的信息传递到未来。

RNN 在结构上存在循环：

hₜ₋₁ → hₜ → hₜ₊₁

为了训练，可以把循环沿时间方向展开：

x₁ → h₁ → h₂ → h₃ → ... → hₙ

其中每一个时间步使用相同的一组参数。

因此虽然展开后看起来有很多层，但这些时间步实际上共享参数。

这种结构称为：

参数共享（Parameter Sharing）

RNN 可以处理不同形式的输入输出关系。

Many-to-One

多个输入 → 一个输出

例如：

词₁ → 词₂ → 词₃ → 词₄ → 分类

可以用于文本情感分类。

One-to-Many

一个输入 → 多个输出

例如：

图像 → 单词序列

可以用于早期的图像描述生成。

Many-to-Many

多个输入 → 多个输出

例如：

词₁ → 标签₁ 词₂ → 标签₂ 词₃ → 标签₃

可以用于 Sequence Labeling。

Encoder-Decoder

输入序列 → 编码 → 输出序列

曾经广泛用于机器翻译等 NLP 任务。

RNN 特别适合具有时间或顺序关系的数据。

例如：

* 文本 * 语音 * 股票时间序列 * 传感器数据 * 用户行为序列 * 音乐 * 视频帧序列

对于：

我 → 喜欢 → 学习 → 人工智能

RNN 在处理“人工智能”时，可以通过隐藏状态间接获得之前词语的信息。

因此 RNN 的核心假设之一是：

当前信息与过去的信息存在关系。

这构成了 RNN 的一种 Inductive Bias。

RNN 通常使用 Backpropagation Through Time（BPTT，时间反向传播）进行训练。

首先将 RNN 沿时间展开：

x₁ → h₁ → h₂ → h₃ → ... → hₜ

然后像普通神经网络一样进行 Backpropagation，但梯度需要沿着时间方向传播。

因此：

Loss → hₜ → hₜ₋₁ → hₜ₋₂ → ... → h₁

这就是 BPTT。

普通 RNN 的主要问题之一是梯度消失（Vanishing Gradient）。

在 BPTT 中，梯度需要经过多个时间步传播。

如果每一步的梯度都乘以一个小于 1 的因子：

∂L/∂hₜ₋ₖ ≈ ∏ Jᵢ

随着时间步增加，这个乘积可能快速趋近于 0。

结果是：

距离当前很远的信息 → 梯度越来越小 → 很难学习长期依赖

例如：

“我小时候生活在法国……经过很多描述……我会说流利的 ___。”

模型需要记住很久以前的“法国”，但普通 RNN 很难稳定地保留这种长期信息。

RNN 还可能出现梯度爆炸（Exploding Gradient）。

如果反向传播过程中梯度不断放大：

∏ Jᵢ → 很大

就可能导致参数更新异常巨大，训练变得不稳定。

常见解决方法之一是：

Gradient Clipping（梯度裁剪）

当梯度超过指定范围时限制其大小。

为了解决普通 RNN 难以学习长期依赖的问题，Hochreiter 和 Schmidhuber 在 1997 年提出了 LSTM。

LSTM 引入了：

* Cell State * Forget Gate * Input Gate * Output Gate

核心思想是让信息能够沿着 Cell State 更稳定地传播。

可以粗略表示为：

输入 → 门控机制 → 决定保留什么 / 删除什么 / 写入什么 → 新状态

因此 LSTM 能够比普通 RNN 更有效地处理长期依赖。

GRU 是另一种门控循环网络，由 Cho 等人在 2014 年提出。

相比 LSTM，GRU 的结构更加简单。

它主要通过：

* Update Gate * Reset Gate

控制历史信息和当前信息的组合。

因此：

RNN → 基础循环结构

LSTM / GRU → 加入门控机制的 RNN

Bidirectional RNN（双向循环神经网络） 同时从两个方向处理序列：

正向：

x₁ → x₂ → x₃ → ... → xₙ

反向：

xₙ → xₙ₋₁ → xₙ₋₂ → ... → x₁

最终将两个方向的隐藏状态结合起来。

这样模型可以同时利用：

过去信息 + 未来信息

因此特别适合需要利用完整上下文的序列任务。

RNN 和 Transformer 都可以处理序列数据，但基本机制不同。

RNN

x₁ → h₁ → h₂ → h₃ → ...

信息主要通过隐藏状态逐步传播。

Transformer

x₁ ↔ x₂ ↔ x₃ ↔ ...

通过 Attention 直接建立不同位置之间的关系。

因此二者有几个重要区别。

并行计算

RNN 的时间步存在依赖：

hₜ 必须等待 hₜ₋₁

因此训练时难以完全并行。

Transformer 可以同时计算多个位置的 Attention，因此更加适合 GPU 大规模并行训练。

长期依赖

RNN 需要通过多个时间步传递信息。

Transformer 可以通过 Attention 直接连接远距离 Token。

因此长距离依赖通常更加容易处理。

计算复杂度

标准 Self-Attention 的计算量通常随序列长度呈平方增长：

O(n²)

而 RNN 每个时间步处理固定维度状态，理论上通常可以达到：

O(n)

因此 RNN 在超长序列的理论计算复杂度方面存在优势。

不过 RNN 的顺序依赖限制了硬件并行能力，而 Transformer 的高并行性使其在现代大规模训练中更具优势。

2017 年 Transformer 提出后，RNN 在 NLP 中逐渐失去主流地位。

主要原因包括：

* RNN 难以进行大规模并行训练。 * 长距离依赖难以处理。 * BPTT 训练过程复杂。 * Transformer 可以利用 Attention 直接建立远距离依赖。 * Transformer 更适合现代 GPU / TPU 的大规模矩阵计算。

因此 NLP 的主流架构逐渐经历：

RNN → LSTM / GRU → Transformer

不过这并不意味着 RNN 已经没有价值。

RNN 的思想仍然影响着：

* 序列建模 * 状态空间模型 * 时间序列预测 * 流式推理 * 在线学习

近年来，一些新的序列模型也重新探索了“循环状态”的思想。

* 天然适合序列数据。 * 能够维护随时间变化的隐藏状态。 * 参数在不同时间步共享。 * 理论上可以处理任意长度的序列。 * 对于某些流式任务，可以逐步处理输入。 * 单步状态的计算和存储相对简单。

* 时间步之间存在顺序依赖。 * 难以充分利用 GPU 并行计算。 * 普通 RNN 容易出现梯度消失和梯度爆炸。 * 长期依赖难以学习。 * 长序列训练速度较慢。 * 在现代大规模 NLP 中通常不如 Transformer。

RNN 的重要思想是：

神经网络不仅可以处理独立的输入，还可以通过隐藏状态维护历史信息。

也就是说，模型不再只是：

y = f(x)

而是：

hₜ = f(xₜ, hₜ₋₁)

因此当前输出不仅取决于当前输入，也取决于过去的状态。

这一思想奠定了现代序列建模的重要基础。

从发展历史来看，可以理解为：

RNN → LSTM / GRU → Attention → Transformer → LLM

RNN 解决了“如何让神经网络记住序列历史”的问题，而 Transformer 则进一步改变了“如何在序列中建立依赖关系”的方式。

* Neural Network * Deep Learning * LSTM * GRU * Transformer * Attention * NLP * Backpropagation * Gradient Vanishing * Inductive Bias

* Jeffrey L. Elman, 1990, Finding Structure in Time * Sepp Hochreiter and Jürgen Schmidhuber, 1997, Long Short-Term Memory * Kyunghyun Cho et al., 2014, Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation * Yoshua Bengio, Patrice Simard and Paolo Frasconi, 1994, Learning Long-Term Dependencies with Gradient Descent is Difficult * Ashish Vaswani et al., 2017, Attention Is All You Need