SPADE / GauGAN

Spatially-Adaptive Normalization [2019]

Park T , Liu M Y , Wang T C ,et al.Semantic Image Synthesis With Spatially-Adaptive Normalization[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).IEEE, 2019.DOI:10.1109/CVPR.2019.00244.

https://github.com/NVlabs/SPADE

SPADE 是一种用于语义图像合成的深度学习技术，由 NVIDIA 团队在 2019 年的论文《Semantic Image Synthesis with Spatially-Adaptive Normalization》中提出。它通过改进归一化层机制，显著提升了生成图像的质量和语义一致性。

Spatially-Adaptive normalization

设 ${\text{h}}_i$ 表示深度卷积网络中第 $i$ 层对一批 $N$ 个样本的激活值，$C^i$ 为该层的通道数量，$H^i$ 和 $W^i$ 分别表示该层激活图的高度和宽度。

类似于 BN，激活值（$n\in N,c\in C^i,y\in H^i,x\in W^i$）为：

$${\gamma }_{c,y,x}^i(\mathbf{m})\frac{h_{n,c,y,x}^i-{\mu }_c^i}{{\sigma }_c^i}+{\beta }_{c,y,x}^i(\mathbf{m})$$

其中 $h_{n,c,y,x}^i$ 是归一化前该位置的激活值，${\mu }_c^i$ 和 ${\sigma }_c^i$ 分别是通道 c 中激活值的均值和标准差。

$${\mu }_c^i=\frac{1}{N{H}^i{W}^i}\sum _{n,y,x}{h}_{n,c,y,x}^i$$$${\sigma }_c^i=\sqrt{\frac{1}{N{H}^i{W}^i}\sum _{n,y,x}({\left(h_{n,c,y,x}^i\right)}^2-{\left({\mu }_c^i\right)}^2)}$$