Transformer

RNN 的主要问题：

• 梯度消失/爆炸：长距离依赖难以学习
• 顺序计算：无法并行处理序列
• 信息瓶颈：最后时刻隐藏状态需承载全部信息

Transformer 的改进：

• 并行计算：同时处理整个序列
• 自注意力机制：直接建立任意位置间的联系
• 位置编码：显式注入位置信息

结构

图：Transformer 单元

图：Transformer 的详细结构

• 输入
  • 编码器输入
  • 解码器输入
• 输出
  • 线性层
  • Softmax 层
• 编码器
  • 由 N 个编码器层堆叠而成
  • 每个编码器层由两个子层连接结构组成
  • 第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接
  • 第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接
• 解码器
  • 由 N 个解码器层堆叠而成
  • 每个解码器层由三个子层连接结构组成
  • 第一个子层连接结构包括一个带掩码的-多头自注意力子层和规范化层以及一个残差连接
  • 第二个子层连接结构包括一个多头注意力子层（编码器到解码器）和规范化层以及一个残差连接
  • 第三个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接

核心组件

自注意力机制（Self-Attention）

定义：

符号	维度	含义
$X$	$n\times d$	输入矩阵（n=序列长度，d=特征维度）
$Q$	$n\times d_k$	Query 矩阵（查询向量）
$K$	$n\times d_k$	Key 矩阵（键向量）
$V$	$n\times d_v$	Value 矩阵（值向量）
$W^Q,W^K,W^V$	$d\times d_k/d_v$	可学习参数矩阵

$$\text{Attention}(Q,K,V)=\text{Softmax}(\frac{Q{K}^T}{\sqrt{d_k}})V$$

推导过程

将输入转换为 Query、Key、Value：

$$Q=X{W}^Q,K=X{W}^K,V=X{W}^V$$

计算注意力分数：

$$\text{Scores}=\frac{Q{K}^T}{\sqrt{d_k}}$$

生成注意力权重矩阵：

$$A=\text{Softmax}(\text{Scores})$$

得到最终注意力输出：

$$\text{Output}=AV$$

带掩码自注意力层（Masked Multi-head attention）

编码时，对于 $t$ 时刻的预测，我们知道 $x_1,x_2,\cdots ,x_t,x_{t+1},\cdots ,x_T$ 全部的信息。

解码时，对于 $t$ 时刻的预测，我们仅知道 $x_1,x_2,\cdots ,x_{t-1}$ 的信息。看不到后续的信息，因此需要将后续的信息遮掩起来。

$$\text{Attention}(Q,K,V)=\text{Softmax}(\frac{Q{K}^T\odot M}{\sqrt{d_k}})V$$

多头注意力（Multi-Head Attention）

$$\text{MultiHead}(Q,K,V)=\text{Concat}({\text{head}}_1,\cdots ,{\text{head}}_h)W^O$$

其中：

$${\text{head}}_i=\text{Attention}(Q{W}_i^Q,K{W}_i^K,V{W}_i^V)$$

位置编码（Positional Encoding）

与 RNN 和 LSTM 等顺序算法不同，Transformer 没有内置机制来捕获句子中单词的相对位置，所以在 Transformer 的 encoder 和 decoder 的输入层中，使用了 Positional Encoding，使得最终的输入满足：

$$input=input\mathrm{\_}embedding+positional\mathrm{\_}encoding$$

原始正弦编码公式：

$$P{E}_{(pos,2i)}=\sin \left(\frac{pos}{{10000}^{2i/d}}\right)$$$$P{E}_{(pos,2i+1)}=\cos \left(\frac{pos}{{10000}^{2i/d}}\right)$$

前馈网络（Feed Forward Network）

包括两个线性变换+ReLU 激活：

$$\text{FFN}(x)=\text{ReLU}(x{W}_1+b_1)W_2+b_2$$