Pix2PixHD

[2017]

Wang T C , Liu M Y , Zhu J Y ,et al.High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs[J]. 2017.DOI:10.48550/arXiv.1711.11585.

https://github.com/NVIDIA/pix2pixHD

Pix2PixHD 基于 条件生成对抗网络 框架，核心目标是将输入图像（如语义分割图、边缘草图等）转换为逼真的输出图像。

多尺度生成器

粗到细生成（Coarse-to-Fine）

• 全局生成网络（global generator network，$G_1$）

  生成低分辨率图像

• 局部增强网络（ local enhancernetwork，$G_2,G_3,\cdots$）

  在此基础上细化局部细节，生成高分辨率图像。每个局部增强网络都将输出的分辨率增加到前一网络的两倍

首先在低分辨率图像上训练残差网络 $G_1$，随后将另一个残差网络 $G_2$ 附加到 $G_1$ 之后，两者在高分辨率图像上进行联合训练。具体而言，$G_2$ 中残差块的输入是来自 $G_2$ 自身的特征图与 $G_1$ 最后一层特征图的逐元素相加。

多尺度判别器

• $D_1$：在原始分辨率的图像上工作
• $D_2$：1/2 下采样
• $D_3$：1/4 下采样

特征匹配损失（Feature Matching Loss）

$${\mathcal{L}}_{\mathrm{FM}}(G,D_k)={\mathbb{E}}_{(\mathbf{s},\mathbf{x})}\sum _{i=1}^T\frac{1}{N_i}\left[{\Vert D_k^{(i)}(\mathbf{s},\mathbf{x})-D_k^{(i)}(\mathbf{s},G(\mathbf{s}))\Vert }_1\right]$$

整体目标为：

$$\underset{G}{min}(\left(\underset{D_1,D_2,D_3}{max}\sum _{k=1,2,3}{\mathcal{L}}_{\mathrm{GAN}}(G,D_k)\right)+\lambda \sum _{k=1,2,3}{\mathcal{L}}_{\mathrm{FM}}(G,D_k))$$

Instance Maps