Pix2Pix

Isola P , Zhu J Y , Zhou T ,et al.Image-to-Image Translation with Conditional Adversarial Networks[C]//IEEE Conference on Computer Vision & Pattern Recognition.IEEE, 2016.DOI:10.1109/CVPR.2017.632.

Pix2Pix 是一种基于条件生成对抗网络（Conditional GAN, CGAN）的图像到图像转换模型。

生成器 G 用到的是 Unet 结构，判别器 D 用到的是条件判别器 PatchGAN

PatchGAN

对图像的局部区域（如 70x70 像素的“Patch”）进行真伪判断，而非整个图像。

目标函数

$${\mathcal{L}}_{cGAN}(G,D)={\mathbb{E}}_{x,y}[\log D(x,y)]+{\mathbb{E}}_{x,z}[\log (1-D(x,G(x,z))]$$

G 的作用是为了迷惑 D，同时产生与真值（Ground Truth）很像的图像。因此，再加一个与真值的L1 loss：

$${\mathcal{L}}_{L1}(G)={\mathbb{E}}_{x,y,z}[\parallel y-G(x,z){\parallel }_1]$$

最终目标为：

$$G^{\ast }=\arg \underset{G}{min}\underset{D}{max}{\mathcal{L}}_{cGAN}(G,D)+\lambda {\mathcal{L}}_{L1}(G)$$

作者认为L1 loss可以恢复图像的低频部分，而GAN loss可以恢复图像的高频部分。