Virtual restoration of the colored paintings on weathered beams in the Forbidden City using multiple deep learning algorithms
Zou Z , Zhao P , Zhao X .Virtual restoration of the colored paintings on weathered beams in the Forbidden City using multiple deep learning algorithms[J].Advanced Engineering Informatics, 2021, 50:101421-.DOI:10.1016/j.aei.2021.101421.
翻译
基于多重深度学习算法的故宫风化梁枋彩画虚拟修复方法
Abstract
中国古代建筑表面彩画因长期风化作用普遍存在颜料剥落、图像模糊、色彩失真等缺陷。针对现有修复方法难以实现虚拟修复的问题，本文提出基于多重深度学习算法的故宫风化梁枋彩画虚拟修复方法。区别于单一技术修复，本研究将彩画解构为背景色层、金边层和龙纹层三个组成部分进行分层次修复：对背景色层，通过 U-Net MobileNet 语义分割技术将不可辨识的色彩还原问题转化为语义分割问题；对金边层，利用传统图像处理技术从语义分割生成的色块图中提取金边轮廓；对龙纹层，采用先勾勒龙纹骨架结构、后通过 Pix2pix 图像转换算法生成逼真龙纹图案的流程。最终通过三层次修复结果的叠加实现整体修复。该方法生成的虚拟修复成果既能作为传统手工修复的参考依据，帮助修复者构想氧化前的彩画原貌，又可减少重复性劳动、降低修复复杂度。此外，各修复步骤可形成独立图层，支持修复人员根据需求进行叠加或修改。
Keywords
深度学习，古建筑，Pix2pix，U-Net，虚拟修复，GAN，语义分割
2.方法论
本章将阐述本研究所提出的修复方法实施步骤、涉及的两种深度学习算法及采用的图像处理技术。
2.1. 整体流程
本方法流程包含以下关键步骤：
步骤 1：使用 U-Net 进行两次语义分割以获取色彩分割图。
在首次分割中，以风化梁枋图像为训练集，分割类别为彩画中的两种主色调（蓝色与绿色）。然后，对所有经过训练的图像进行测试，并生成按照类别上色后的颜色图（CM1），该结果将作为第二次分割的训练集。
第二次分割的类别是两类特殊区域，通过它们可以获得由于缺乏局部色彩变化，在 CM1 中存在但无法检测到金色边缘的位置。
测试新图像时，将同步生成 CM1 与 CM2 两个色块图。
步骤 2：执行透视变换
根据透视关系对测试图像及其 CM1 和 CM2 进行变换，生成 Test-PT、CM1-PT 和 CM2-PT。
步骤 3： 使用图像处理技术获取金色边缘。
首先对 CM1-PT 和 CM2-PT 进行 Canny 边缘检测，获取仅含边缘信息的二值化图像。随后将两幅二值化图像合并，形成完整边缘信息图（CE）。对 CE 实施形态学处理，并调整色彩与透明度参数，最终生成金边轮廓图（FE）。
步骤 4： 运用 Pix2pix 实现龙纹图像生成。
在透视校正图像（Test-PT）中人工勾勒残缺龙纹的骨架结构，随后利用 Pix2pix 将模糊龙纹的手绘线稿转换为逼真龙纹图案（DP）。
步骤 5： 多图层叠加合成。
将金边层（FE）、龙纹层（DP）与透视校正色块图（CM1-PT）进行多图层融合，通过自定义透明度参数完成测试图像的虚拟修复。
2.4. 图像处理技术
故宫建筑梁柱彩绘板块交接处装饰有金边。由于金边线条较细而色块面积较大，因此可以利用图像处理技术精确地获取它们的位置。为获得良好的修复视觉效果，首先对图像进行透视变换，随后运用 Canny 边缘检测结合形态学膨胀与腐蚀操作提取金边。此外，在构建 Pix2pix 训练数据集过程中，需提取未经风化的龙纹图案。鉴于未风化龙纹呈黄/金色且较周边色彩明度更高，可采用大津（Otsu）阈值法进行分割提取。下文将简要介绍 Canny 边缘检测、形态学膨胀与腐蚀操作以及大津阈值法的基本原理。
2.4.1. Canny 边缘检测
Canny 边缘检测是最常用的边缘检测方法之一。它非常出色，因为它在一阶微分算子的基础上做了两项改进，即非极大值抑制（Non-Maximum Suppression）和双阈值处理（Double Thresholding）。非极大值抑制不仅可以有效细化粗边缘，还可以提高边缘定位的准确性。而双阈值处理可以有效提高边缘检测率。Canny 边缘检测在检测图像边缘时包括以下四个步骤：
1.使用高斯滤波器去除输入图像中的噪声。
2.使用 Sobel 算子计算图像像素梯度的幅值和方向。
3.对梯度幅值进行非极大值抑制。
4.使用双阈值处理对边缘进行筛选和连接。
2.4.2. 形态学膨胀与腐蚀
形态学中的膨胀和腐蚀是将二值化图像与核进行卷积的操作。该核可为任意形状和大小，并具有定义的参考点。膨胀是通过寻找局部最大值的操作实现的：核与图像卷积后，取每个局部卷积区域的最大值，将此最大值赋予参考点指定的像素，从而逐步增大二值化图像中的白色区域。腐蚀则是寻找局部最小值，与膨胀效果相反。通过膨胀或腐蚀操作，可使图像变厚或变细。
2.4.3 大津阈值法
阈值法通过设置不同阈值将图像像素分为若干类别。阈值的选择直接影响像素分类结果。大津阈值法无需手动选择阈值，而是通过统计方法自动选取使前景与背景分离程度最大的阈值。该统计方法基于类内方差：通过获取图像的灰度直方图，可计算选定某一阈值时前景与背景的类内方差。当该阈值使类内方差达到最大值时，即为大津阈值法自动选择的阈值。
4.结论与讨论
本文提出了一种基于语义分割和图像翻译的方法，用于恢复故宫褪色彩画梁枋的色彩。该方法旨在帮助修复者想象绘画原始样貌并减少重复性劳动。由于氧化作用导致画作色相改变，传统修复方法效果有限。因此，本文未直接整体修复图像，而是将画作划分为背景、鎏金边框和龙纹图案三部分，分别修复后叠加三部分修复结果完成虚拟修复。该方法未单一使用技术修复画作，而是充分结合画作各区域特征进行针对性修复，从而实现了本文的研究目的。
本文首先对风化梁的两种主色（蓝色与绿色）进行两次 U-Net 语义分割，获取其分布图，再经透视变换将视角调整为正面，随后通过 Canny 边缘检测定位鎏金边线并利用形态学膨胀腐蚀增粗金边。接着根据褪色梁底模糊的龙纹手工绘制龙骨架，通过 Pix2pix 将其映射为真实龙纹。最后叠加背景色块、金边及生成的龙纹色图，完成风化梁的虚拟修复。研究同时对比了 Pix2pix 与监督式图像翻译算法 GauGAN 的修复效果：针对本文龙纹小样本数据集，GauGAN 迅速过拟合且功能几乎失效。此外，该方法每一步均可生成独立分层，修复人员可按需叠加或修改。
该方法的局限在于：梁上除龙纹外仍存在其他装饰，目前尚无法复原；且由于龙须具有一定随机性，亦无法完美还原。然而考虑到本文旨在帮助修复者想象绘画风化前的样貌，从而减轻其工作量，本方法已可实现该目标。
除故宫梁枋彩画外，该方法也可迁移至沈阳故宫、颐和园、恭王府等建筑彩画的虚拟修复中。事实上，任何具有大面积同色色块或大量相似纹样的彩画，在经历严重风化后，均可通过类似方法实现虚拟修复。此外，故宫内还存在其他风格的梁枋彩画，如包含凤凰图案的梁枋、以红色为主色调的梁枋等。针对这些风格，可通过相同方法重新训练适用于该风格的新模型并完成修复。
未来，作者将研究如何通过改变未风化梁体的颜色来模拟其风化状态，从而扩充数据集。此外，可尝试利用图像着色算法实现更多类型梁体彩绘的修复。