近年来,壁画数字修复技术迅速发展,提出从壁画高光谱图像捕获从可见光到近红外光光谱范围的图像,有效提取了褪色壁画图案,但当壁画图像不够清晰完整时,该方法的精度较低。利用高光谱成像技术,提出一种基于暗通道先验和Retinex双边滤波的灰暗壁画修复方法,但对于复杂壁画图像的细节处理仍有待改进。首次采用GrabCut分割算法，对壁画图像进行分割和色彩转移自动取样,实现了壁画图像色彩修复。在壁画图像中提取局部分割区域的特征,并在多尺度空间中提取纹理特征以确定最佳匹配块,对破损的壁画进行虚拟修复,但无法为大面积破损的壁画图像匹配最合适的特征块,修复效果较差。将壁画图像转换到色彩空间,然后对各分量图像进行高低帽运算,构造多结构形态滤波器平滑图像中的噪声,将融合后的掩膜图像与原始壁画进行融合,提出一种改进的生成式对抗网络结构。

1、相关技术介绍

1.1 循环生成对抗网络

CycleGAN包含两个判别器和两个生成器,无需预先匹配,就可以进行数据之间的转换。在此基础上,内容图像通过生成网络和判别网络,生成风格化图像。CycleGAN主要包含两部分损失,分别为对抗损失和循环一致损失。

1) 对抗损失

GAN是CycleGAN的基础,利用对抗损失不断优化生成器和判别器。CycleGAN也利用此对抗损失优化网络,通过判别器对生成样本和真实数据进行鉴别,生成器希望生成样本被判定为真,而判别器要识别出图像是真实的还是生成的。对于生成器G:X→Y,其判别器DY的损失函数为:

LGAN(G,DY,X,Y)=Ey～Pdata(y)[lnDY(y)]+Ex～Pdata(x)[ln(1-DY(G(x)))]。

(1)

式中:X、Y为两个图像域;x、y为两个域中的图像;DY(y)为图像y属于域Y的概率;Ey～Pdata(y)为y取自Y的期望;Ex～Pdata(x)为x取自X的期望。

对于生成器F:Y→X,其判别器DX的损失函数为:

LGAN(F,DX,Y,X)=Ex～Pdata(x)[lnDX(x)]+Ey～Pdata(y)[ln(1-DX(F(y)))]。

(2)

式中:F为域Y向域X的映射函数;DX(x)为图像x属于域X的概率。

2) 循环一致性损失

CycleGAN同时进行G、F映射,将图片转换后还可以进行还原,有效避免了所有X图像转换为Y图像域中的同一图像的情况。循环一致性损失为:

(3)

式中:Ex～Pdata(x)[]为域X中图像x经生成器G作用后生成G(x),G(x)再由生成器F作用变为F(G(x)),F(G(x))应与图像x近似。Ey～Pdata(y)同理。

CycleGAN的基本原理如图1所示。网络的所有损失相加即为CycleGAN的目标损失

图1 CycleGAN原理图

L(G,F,DX,DY)=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)。

(4)

式中,λ为控制各损失间相对重要程度的加权因子。

1.2 协调注意力机制

注意力机制被广泛用于提高现代深层神经网络的性能。基于挤压和激励网络(squeeze-and-excitation networks,SENet)和卷积块注意力模块(convolutional block attention module,CBAM),将位置信息嵌入通道中,使移动网络能够在大范围内关注,同时避免了巨大的计算量。位置信息嵌入通道注意,将一个二维的池化操作转换为两个一维的池化操作,沿着两个方向聚合特征,生成的特征映射被分别编码成方向感知和位置敏感的注意映射,用于提高感兴趣对象的输入特征的表示。具体地,为了激励注意力模块以精确的位置信息在空间上捕获远程交互,给定输入x,分别从水平与垂直方向进行重要特征提取,高度h上的第c个信道的输出

f=δ(F1([Zh,Zw]))

式中:δ为非线性激活函数;f∈RC/r×(H+W)为水平、垂直方向编码空间信息的中间特征图;r为缩减比,用来控制块大小,然后将f分为两个独立张量fh∈RC/r×H和fw∈RC/r×W。利用另外两个1×1卷积变换Fh和Fw将fh和fw变换为与输入X具有相同信道数的张量,得到:

gh=σ(Fh(fh))

gw=σ(Fw(fw))

式中,σ为sigmoid函数。使用适当的缩减率r以减少f的信道数,然后将输出gh和gw分别展开用作注意力权重,则坐标注意力块Y的输出为:

Y=X×gh×gw

2、基于循环生成对抗网络的壁画色彩修复

2.1 同一映射损失

CycleGAN算法的循环一致性损失函数将图像还原之后计算与原始输入图像的差值并求和,在一定程度上可以计算出原始图像与还原图像的差异,但是未考虑生成图像G(x)与真实图像y的损失和生成图像F(y)与真实图像x的损失。以原始图像x到生成图像G(x)再到还原图像F(G(x))为例(其中,真实图像x与真实图像y为不成对图像),由原始图像x到生成图像G(x)的生成损失较生成图像G(x)到还原图像F(G(x))的损失更为重要,如果生成图像与真实图像y的风格损失很大,后续的生成图像G(x)到还原图像F(G(x))的变换也不会成功。本研究基于此改进了循环一致性损失函数,在原始循环一致性损失的基础上加入同一映射损失,即

Lcyc(G,F)=Ex～Pdata(x)[(1-λ1)‖F(G(x))-x‖1+λ1‖G(x)-y‖1]+

Ey～Pdata(y)[(1-λ2)‖G(F(y))-y‖1+λ2‖F(y)-x‖1]。

式中:λ1为x→G(x)≈y过程中的损失权重,(1-λ1)为F(G(x))≈x过程的损失权重,整个过程中损失之和为1。同理,λ2为y→F(y)≈x过程损失权重,(1-λ2)为G(F(y))≈y过程损失权重。

以正向循环为例,具体训练过程为:首先将真实未修复唐代壁画图像x输入,由生成器G生成修复的唐代壁画图像G(x);然后利用判别器DX判断生成图像是否为真,并将输出反馈到生成器G进行对抗博弈;最后通过生成器F还原为验证的未修复唐代壁画图像F(G(x)),利用循环一致性损失和同一映射损失,确保最终验证壁画图像与真实壁画图像尽可能相似。

图2 模型训练框架图

2.2 多尺度融合协调注意力机制

协调注意力机制只考虑横纵两个方向的重要性,未从整体上考虑周围语义信息的重要性程度,本研究对协调注意力机制网络结构进行改进,加入多尺度特征融合思想,构成多尺度融合的协调注意力机制。首先对输入图像分别进行卷积核大小为1×1、3×3、5×5、7×7的多尺度卷积运算,得到不同感受野大小的特征信息;然后对四个通道进行特征融合,从横纵两个方向进行适应性平均池化、维度拼接与卷积操作,以及批量归一化与非线性激活;随后分别在横纵两个方向使用Sigmoid函数进行重要性程度判别,对特征图进行权重赋值;最后通过在生成器G的上采样区第2层引入多尺度融合的协调注意力机制,建立图像各个位置像素间关联关系,提高生成图像的协调性和质量。

改进后的生成器G由三部分组成,分别为:由卷积神经网络组成的下采样区域,从输入图像和风格图像提取特征表达;由残差网络组成的中间区域进行图像转换;由反卷积神经网络与多尺度融合的协调注意力机制组成的上采样区域。

2.3 算法步骤

常见的算法描述方法有自然语言、结构化流程图、伪代码等,本研究参考文献[7]采用自然语言方法对算法进行形式化定义。

MFCA-CycleGAN算法的输入包括未修复壁画图像x与已修复壁画图像y,输出为利用风格迁移方法色彩修复后的壁画图像G(x)。具体步骤为:首先,对于输入的未修复壁画图像x与已修复壁画图像y,经过生成网络G生成已修复壁画图像G(x)与还原的已修复壁画图像G(F(y)),再经过生成网络F生成未修复壁画图像F(y)与还原的未修复壁画图像F(G(x));然后,将生成网络梯度设置为0,利用式(11)计算同一映射损失Lcyc(G,F)对生成网络进行反向传播,计算生成网络G、F的梯度并更新权重参数,再使用均方根误差计算判别器DX、DY的梯度并更新权重参数;最后,重复上述步骤,迭代n次得到最优模型,输出本研究算法(以下简称本算法)色彩修复后的壁画图像。

本算法模型需要迭代n次,数据集包含m条数据。m条数据经过前向传播生成对应的风格图像、梯度函数计算等均需要经过n×m次循环迭代来更新网络模型参数,因此本算法时间复杂度为O(nm)。

3、结论

针对敦煌唐代壁画色彩难以较好修复的问题,提出基于循环生成对抗网络和多尺度融合协调注意力机制的壁画色彩修复算法。首先将同一映射损失加入到循环一致性对抗损失函数中,然后在生成器中引入多尺度融合的协调注意力机制,得到最优的壁画色彩修复网络模型。采用无参照主观评价验证表明,改进后的算法在壁画图像色彩的修复上具有有效性和卓越性。最后,通过对权重系数及多尺度融合的协调注意力机制进行消融实验,验证本算法可以在不依赖专家知识的情况下恢复褪色壁画图像的颜色,节省了壁画修复时间。

参考文献

[1]李月龙,高云,闫家良,等.基于深度神经网络的图像缺损修复方法综述[J].计算机学报.2021(11)

[2]陈永,陈锦,艾亚鹏,等.基于边缘缺失重构和改进优先权的壁画图像修复[J].激光与光电子学进展.2021(24)

[3]杨晓东.探索古代石窟壁画保存现状以及修复与保护[J].工业建筑.2021(11)

[4]刘泽鑫,万旺根.基于曲率驱动扩散与改进型稀疏表示的图像修复算法[J].电子测量技术.2018(11)