归一化

Normalization

批量归一化

Batch Normalization [2015]

Ioffe S , Szegedy C .Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[J].JMLR.org, 2015.DOI:10.48550/arXiv.1502.03167.

跨样本单通道

BN 是深度学习中最重要的技术突破之一，由 Sergey Ioffe 和 Christian Szegedy 在 2015 年提出。其规范化针对单个神经元进行，利用网络训练时一个 mini-batch 的数据来计算该神经元 $x_i$ 的均值和方差。公式如下：

对于输入数值集合 $B=\{x_1,\cdots ,x_m\}$，可训练参数 $\gamma$，$\beta$，有：

$$\begin{array}{rl}{\mu }_{\mathcal{B}}& \leftarrow \frac{1}{m}\sum _{i=1}^m{x}_i\\ {\sigma }_{\mathcal{B}}^2& \leftarrow \frac{1}{m}\sum _{i=1}^m{(x_i-{\mu }_{\mathcal{B}})}^2\\ {\hat{x}}_i& \leftarrow \frac{x_i-{\mu }_{\mathcal{B}}}{\sqrt{{\sigma }_{\mathcal{B}}^2+ϵ}}\\ y_i& \leftarrow \gamma {\hat{x}}_i+\beta \equiv {\mathrm{BN}}_{\gamma ,\beta }\left(x_i\right)\end{array}$$

在推理过程中，均值、方差是基于所有批次的期望计算所得。

注意：训练时使用的批统计量是有偏估计，因此需要校正：

$$\mathbb{E}[x]\leftarrow {\mathbb{E}}_B\left[{\mu }_B\right]$$$$\mathrm{Var}[x]\leftarrow \frac{m}{m-1}{\mathbb{E}}_B\left[{\sigma }_B^2\right]$$

有：

$$y=\frac{\gamma }{\sqrt{\text{Var}[x]+\epsilon }}\cdot x+(\beta -\frac{\gamma \cdot \mathbb{E}[x]}{\sqrt{\text{Var}[x]+\epsilon }})$$

TIP

在图像任务中，对于输入张量 $X\in R^{N\times C\times H\times W}$（batch×channels×height×width）:

$${\mu }_B=\frac{1}{NHW}\sum _{n=1}^N\sum _{h=1}^H\sum _{w=1}^W{X}_{n,c,h,w}$$$${\sigma }_B^2=\frac{1}{NHW}\sum _{n=1}^N\sum _{h=1}^H\sum _{w=1}^W(X_{n,c,h,w}-{\mu }_B{)}^2$$$$\hat{X}=\frac{X-{\mu }_B}{\sqrt{{\sigma }_B^2+\epsilon }}$$$$Y=\gamma \hat{X}+\beta$$

其中：${\mu }_B$ 为某一通道在整个 Batch 的均值，${\sigma }_B^2$ 为某一通道在整个 Batch 的方差，$\epsilon$ 为小常数，防止除零。

无偏估计

在无偏估计中：

$$\mathbb{E}\left[\frac{1}{n}\sum _{i=1}^n{(X_i-\mu )}^2\right]={\sigma }^2$$

如果采用下面式子进行估计：

$$\mathbb{E}\left[S_b^2\right]=\mathbb{E}\left[\frac{1}{n}\sum _{i=1}^n{(X_i-\bar{X})}^2\right]\le {\sigma }^2$$

其偏移量推导如下：

$$\begin{array}{rl}\mathbb{E}\left[S_b^2\right]& =\mathbb{E}\left[\frac{1}{n}\sum _{i=1}^n{(X_i-\bar{X})}^2\right]=\mathbb{E}\left[\frac{1}{n}\sum _{i=1}^n{((X_i-\mu )-(\bar{X}-\mu ))}^2\right]\\ & =\mathbb{E}\left[\frac{1}{n}\sum _{i=1}^n({(X_i-\mu )}^2-2(\bar{X}-\mu )(X_i-\mu )+(\bar{X}-\mu {)}^2)\right]\\ & =\mathbb{E}[\frac{1}{n}\sum _{i=1}^n{(X_i-\mu )}^2-\frac{2}{n}(\bar{X}-\mu )\sum _{i=1}^n(X_i-\mu )+\frac{1}{n}(\bar{X}-\mu {)}^2\sum _{i=1}^{n}1]\\ & =\mathbb{E}[\frac{1}{n}\sum _{i=1}^n{(X_i-\mu )}^2-\frac{2}{n}(\bar{X}-\mu )\sum _{i=1}^n(X_i-\mu )+\frac{1}{n}(\bar{X}-\mu {)}^2\cdot n]\\ & =\mathbb{E}[\frac{1}{n}\sum _{i=1}^n{(X_i-\mu )}^2-\frac{2}{n}(\bar{X}-\mu )\sum _{i=1}^n(X_i-\mu )+(\bar{X}-\mu {)}^2]\\ & =\mathbb{E}[\frac{1}{n}\sum _{i=1}^n{(X_i-\mu )}^2-\frac{2}{n}(\bar{X}-\mu )\cdot n\cdot (\bar{X}-\mu )+(\bar{X}-\mu {)}^2]\\ & =\mathbb{E}[\frac{1}{n}\sum _{i=1}^n{(X_i-\mu )}^2-2(\bar{X}-\mu {)}^2+(\bar{X}-\mu {)}^2]\\ & =\mathbb{E}[\frac{1}{n}\sum _{i=1}^n{(X_i-\mu )}^2-(\bar{X}-\mu {)}^2]\\ & =\mathbb{E}\left[\frac{1}{n}\sum _{i=1}^n{(X_i-\mu )}^2\right]-\mathbb{E}[(\bar{X}-\mu {)}^2]\\ & ={\sigma }^2-\mathbb{E}[(\bar{X}-\mu {)}^2]\\ & ={\sigma }^2-{\left[\frac{1}{n}\sum _{i=1}^n(X_i-\mu )\right]}^2\\ & ={\sigma }^2-\frac{1}{n}\left[\frac{1}{n}\sum _{i=1}^n{(X_i-\mu )}^2\right]\\ & ={\sigma }^2-\frac{1}{n}{\sigma }^2\end{array}$$

即：

$$\mathbb{E}\left[S_b^2\right]=\frac{n-1}{n}{\sigma }^2$$$${\sigma }^2=\frac{n}{n-1}\mathbb{E}\left[S_b^2\right]$$

使用下面这个式子进行估计，得到的就是无偏估计：

$$\mathbb{E}\left[S^2\right]=\mathbb{E}\left[\frac{1}{n-1}\sum _{i=1}^n{(X_i-\bar{X})}^2\right]={\sigma }^2$$

层归一化

Layer Normalization [2016]

Ba J L , Kiros J R , Hinton G E .Layer Normalization[J]. 2016.DOI:10.48550/arXiv.1607.06450.

单样本跨通道

实例归一化

Instance Normalization [2016]

Ulyanov D , Vedaldi A , Lempitsky V .Instance Normalization: The Missing Ingredient for Fast Stylization[J]. 2016.DOI:10.48550/arXiv.1607.08022.

https://github.com/DmitryUlyanov/texture_nets

单样本单通道

组归一化

Group Normalization [2018]

Wu Y , He K .Group Normalization[J].International Journal of Computer Vision, 2018.DOI:10.1007/s11263-019-01198-w.

单样本跨几个通道