注意力机制与 Transformer

注意力机制

鸡尾酒会效应

当一个人在吵闹的鸡尾酒会上和朋友聊天时，尽管周围噪音干扰很多，他还是可以听到朋友的谈话内容，而忽略其他人的声音。

同时，如果未注意到的背景声中有重要的词（比如他的名字），他会马上注意到。

如何实现

• 自下而上 — 汇聚（pooling）
• 自上而下 — 会聚（focus）

人工神经网络中的注意力机制

注意力模型

软性注意力机制（soft attention mechanism）

按照概率混合所有词

1. 计算注意力分布 $\alpha$：

$${\alpha }_n=p(z=n|\mathit{X},\mathit{q})=\text{softmax}(s({\mathit{x}}_n,\mathit{q}))=\frac{\exp (s({\mathit{x}}_n,\mathit{q}))}{\sum _{j=1}^N\exp (s({\mathit{x}}_j,\mathit{q}))}$$

其中 $s({\mathit{x}}_n,\mathit{q})$ 为打分函数。

2. 根据 $\alpha$ 来计算输入信息的加权平均：

$$\text{att}(\mathit{X},\mathit{q})=\sum _{n=1}^N{\alpha }_n{\mathit{x}}_n={\mathbb{E}}_{z\sim p(z|\mathit{X},\mathit{q})}[{\mathit{x}}_z]$$

注意力打分函数 $s(\mathit{x},\mathit{q})$：

模型	打分函数
加性模型	$s(\mathit{x},\mathit{q})={\mathit{v}}^T\tanh (\mathit{W}\mathit{x}+\mathit{U}\mathit{q})$
点积模型	$s(\mathit{x},\mathit{q})={\mathit{x}}^T\mathit{q}$
缩放点积模型	$s(\mathit{x},\mathit{q})={\displaystyle \frac{{\mathit{x}}^T\mathit{q}}{\sqrt{D}}}$
双线性模型	$s(\mathit{x},\mathit{q})={\mathit{x}}^T\mathit{W}\mathit{q}$

注意力机制的变体

• 硬性注意力（hard attention）
• 键值对注意力（key-value pair attention）
  • 用 $(\mathit{K},\mathit{V})=[({\mathit{k}}_1,{\mathit{v}}_1),\cdots ,({\mathit{k}}_N,{\mathit{v}}_N)]$ 表示 $N$ 个输入信息
  • $$\text{att}((\mathit{K},\mathit{V}),\mathit{q})=\sum _{n=1}^N{\alpha }_n{\mathit{v}}_n=\sum _{n=1}^N\frac{\exp (s({\mathit{k}}_n,\mathit{q}))}{\sum _j\exp (s({\mathit{k}}_j,\mathit{q}))}{\mathit{v}}_n$$
• 多头注意力（multi-head attention）
  • 用多个查询 $Q$ 并行输出多组信息
  • $$\text{att}((\mathit{K},\mathit{V}),\mathit{Q})=\text{att}((\mathit{K},\mathit{V}),{\mathit{q}}_1)\oplus \cdots \oplus \text{att}((\mathit{K},\mathit{V}),{\mathit{q}}_M)$$
• 结构化注意力（structural attention）
  • 层次化注意力
• 指针网络（pointer network）
  • 我们可以只利用注意力机制中的第一步，将注意力分布作为一个软性的指针（pointer）来指出相关信息的位置。

自注意力模型

输入序列为 $\mathit{X}=[{\mathit{x}}_1,\cdots ,{\mathit{x}}_N]\in {\mathbb{R}}^{D_x\times N}$

• 首先生成三个向量序列：
  • $\mathit{Q}={\mathit{W}}_q\mathit{X}\in {\mathbb{R}}^{d_k\times N}$
  • $\mathit{K}={\mathit{W}}_k\mathit{X}\in {\mathbb{R}}^{d_k\times N}$
  • $\mathit{V}={\mathit{W}}_v\mathit{X}\in {\mathbb{R}}^{d_v\times N}$
• 计算 ${\mathit{h}}_n$：${\mathit{h}}_n=\text{att}((\mathit{K},\mathit{V}),{\mathit{q}}_n)$
• 如果使用缩放点积来作为注意力打分函数，输出向量序列可以简写为：

$$\mathit{H}=\mathit{V}\cdot \text{softmax}\left(\frac{{\mathit{K}}^T\mathit{Q}}{\sqrt{D_k}}\right)$$

你可以尝试用自注意力机制取代 RNN 所做的任何任务。

Transformer Encoder

除了自注意力机制还用到了：

位置编码

Positional Encoding

$$\begin{array}{rl}PE(pos,2i)& =\sin \left(pos/{10000}^{2i/d}\right)\\ PE(pos,2i+1)& =\cos \left(pos/{10000}^{2i/d}\right)\end{array}$$

层归一化

Add & Norm：

$$\text{LayerNorm}(\mathit{X}+\text{MultiHeadAttention}(\mathit{X}))$$$$\text{LayerNorm}(\mathit{X}+\text{FeedForward}(\mathit{X}))$$

• Add — 残差连接
• Norm — 将每一层神经元的输入都转成均值方差都一样的，这样可以加快收敛

Transformer-Decoder

Masked 多头注意力机制，在翻译的过程中是顺序翻译的，即翻译完第 $i$ 个单词，才可以翻译第 $i+1$ 个单词。

复杂度分析

模型	每层复杂度	序列操作数	最大路径长度
CNN	$O(kL{d}^2)$	$O(1)$	$O({\log }_k(L))$
RNN	$O(L{d}^2)$	$O(L)$	$O(L)$
Transformer	$O(L^{2}d)$	$O(1)$	$O(1)$

• $k$：卷积核大小
• $L$：序列长度
• $d$：维度