一种基于生成对抗网络的图像形状变换方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 112837215 A(43)申请公布日 2021.05.25

(21)申请号 202110347463.5(22)申请日 2021.03.31

(71)申请人 电子科技大学

地址 611731 四川省成都市高新区(西区)

西源大道2006号(72)发明人 秦臻　陈清雅　丁熠　庄添铭　

秦志光　陶子寅　(74)专利代理机构 成都正华专利代理事务所

(普通合伙) 51229

代理人 李蕊(51)Int.Cl.

G06T 3/00(2006.01)G06T 7/11(2017.01)G06K 9/34(2006.01)G06K 9/62(2006.01)

权利要求书3页 说明书8页 附图7页

G06N 3/04(2006.01)G06N 3/08(2006.01)

CN 112837215 A(54)发明名称

一种基于生成对抗网络的图像形状变换方法

(57)摘要

本发明公开了一种基于生成对抗网络的图像形状变换方法，包括以下步骤：生成待变换图像的分割掩码；构建生成器和判别器，并通过生成器和判别器构建生成对抗网络；构建损失函数，根据损失函数并以梯度下降法训练生成对抗网络；将待变换图像的分割掩码输入至训练后的生成对抗网络，得到图形形状变换结果。本发明的复杂程度低，图像转换的效率高，可以高效地处理图片中的特定图像进行形状差异大的图形变换，可以运用在动画制作、海报设计等领域，既可以增强图形变换的真实度，也可以降低人工成本，减少工作量。

CN 112837215 A

权　利　要　求　书

1/3页

1.一种基于生成对抗网络的图像形状变换方法，其特征在于，包括以下步骤：S1、生成待变换图像的分割掩码；S2、构建生成器和判别器，并通过生成器和判别器构建生成对抗网络；S3、构建损失函数；S4、根据损失函数并以梯度下降法训练生成对抗网络；S5、将待变换图像的分割掩码输入至训练后的生成对抗网络，得到图形形状变换结果。2.根据权利要求1所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述步骤S1具体为：对待变换图像生成关于原始域X的分割掩码mx以及关于目标域Y的分割掩码my。

3.根据权利要求1所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述步骤S2中生成器包括依次连接的下采样模块、第一Resnet残差网络模块、第二Resnet残差网络模块、第三Resnet残差网络模块、第四Resnet残差网络模块、第五Resnet残差网络模块、第六Resnet残差网络模块以及上采样模块；

所述下采样模块包括依次连接的第一填充层、第一卷积层、第一IN归一化层、第一激活层、第二卷积层、第二IN归一化层、第二激活层、第三卷积层、第三IN归一化层以及第三激活层；

每个所述Resnet残差网络模块均包括依次连接的第二填充层、第四卷积层、第四IN归一化层、第四激活层、第三填充层、第五卷积层以及第五IN归一化层；

所述上采样模块包括依次连接的第一反卷积层、第六IN归一化层、第五激活层、第二反卷积层、第七IN归一化层、第六激活层、第四填充层、第六卷积层以及第七激活层。

4.根据权利要求1所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述步骤S2中判别器包括依次连接的第七卷积层、第一SN归一化层、第一最大激活层、第八卷积层、第二SN归一化层、第八IN归一化层、第二最大激活层、第八卷积层、第三SN归一化层、第九IN归一化层、第三最大激活层、第三反卷积层、第四SN归一化层、第十IN归一化层、第四最大激活层、第四反卷积层以及第五SN归一化层。

5.根据权利要求1所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述步骤S2中通过生成器和判别器构建生成对抗网络的具体方法为：

S2.1、构建将原始域X的给定图像转换到目标域Y中图像的生成器GXY，构建将目标域Y的给定图像转换到原始域X中图像的生成器GYX；

S2.2、构建预测图像是否为目标域图像的判别器DY，构建预测图像是否为原始域图像的判别器DX；

S2.3、将生成器GXY和生成器GYX相互连接，将生成器GXY与判别器DY连接，将生成器GYX与判别器DX连接，构建生成对抗网络。

6.根据权利要求5所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述步骤S2.3中生成对抗网络的一次循环生成过程包括原始域循环生成过程和目标域循环生成过程；

所述原始域循环生成过程具体为：S2.3.1.1、将原始域图片x及其分割掩码mx输入生成器GXY，得到第一目标域生成图片y'及其分割掩码m'y，记为GXY(x,mx)；

S2.3.1.2、将目标域生成图片y'及其掩码m'y输入至生成器GYX，得到第一原始域生成图

2

CN 112837215 A

权　利　要　求　书

2/3页

片及其分割掩码GYX(GXY(x,mx))；

S2.3.1.3、将第一目标域生成图片y'及其掩码m'y与目标域图片y及其分割掩码my输入判别器DY进行判别，将第一原始域生成图片及其分割掩码GYX(GXY(x,mx))输入判别器DX进行判别，完成原始域循环生成过程；

所述目标域循环生成过程具体为：S2.3.2.1、将目标域图片y及其分割掩码my输入生成器GYX，得到第二原始域生成图片x'及其分割掩码m'x，记为GYX(y,my)；

S2.3.2.2、将第二原始域生成图片x'及其分割掩码m'x输入生成器GXY，得到第二目标域生成图像及其分割掩码GXY(GYX(y,my))；

S2.3.2.3、将第二原始域生成图片x'及其分割掩码m'x与原始域图片x及其分割掩码mx输入判别器DX进行判别，将第二目标域生成图像及其分割掩码GXY(GYX(y,my))输入判别器DY进行判别，完成目标域循环生成过程。

7.根据权利要求1所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述步骤S3中损失函数

具体为：

其中，表示对抗损失函数，表示循环一直性损失函数，表示认证损失函数，

表示上下文保存损失函数，表示特征相似度损失函数，λλλλλadv、cyc、idt、ctx和fs分别表示

和

在损失函数

中所占权重。

8.根据权利要求7所述的基于生成对抗网络的图像形状变换方法，其特征在于，所述对抗损失函数

具体为：

其中，DX(x,mx)表示判别器DX对原始域图片x及其分割掩码mx的判别输出，DX(GYX(y,my))表示判别器DX对原始域生成图片及其分割掩码GYX(y,my)的判别输出，GYX(y,my)表示目标域图片y及其分割掩码my经过生成器GYX生成的原始域生成图片及其掩码，DY(y,my)表示判别器DY对目标域图片y及其分割掩码my的判别输出，DY(GXY(x,mx))表示判别器DY对目标域生成图片及其分割掩码GXY(x,mx)的判别输出，GXY(x,mx)表示原始域图片x及其分割掩码mx经生成器GXY生成的目标域生成图片及其分割掩码；

所述循环一直性损失函数

具体为：

其中，GYX(GXY(x,mx))表示GXY(x,mx)经过生成器GYX生成的原始域生成图像及其分割掩码，GXY(GYX(y,my))表示GYX(y,my)经过生成器GXY生成的目标域生成图像及其分割掩码，||*||1表示1‑范数；

所述认证损失函数

具体为：

3

CN 112837215 A

权　利　要　求　书

3/3页

其中，GXY(y,my)表示原始域图片x及其分割掩码mx输入生成器GXY后得到的第一目标域生成图片y的分割掩码，GYX(x,mx)表示目标域图片y及其分割掩码my输入生成器GYX得到的第二原始域生成图片x'分割掩码；

所述上下文保存损失函数

具体为：

其中，ω(mx,m'y)表示通过分割掩码mx和m'y，使用一减去二进制表示的对象掩码中元素最小值；ω(my,m'x)表示过分割掩码my和m'x，使用一减去二进制表示的对象掩码中元素最小值；y'表示原始域图片x经生成器GXY生成的目标域生成图片，x'表示目标域图片y及其分割掩码my经过生成器GYX生成的原始域生成图片；

所述特征相似度损失函数

具体为：

其中，FS(y,y')表示图像y与图像y'之间的相似度，表示与图像y'的特征j最相

似的图像y的特征i；N表示图像y的特征总数，其与图像y'的特征总数相同；h表示带宽参数，

表示从距离dij移动到Wij的指数化运算，dij表示归一化后的相似度距离，Wij表

示相似性，Wij/∑kwik表示归一化相似性，wik表示第k个Wij的相似性值。

4

CN 112837215 A

说　明　书

一种基于生成对抗网络的图像形状变换方法

1/8页

技术领域

[0001]本发明属于图像翻译领域，具体涉及一种基于生成对抗网络的图像形状变换方法。

背景技术

[0002]对抗神经网络模型在许多应用中都取得了显著成功，例如图像修复，语义分割，图像字幕，视频生成，样式转换等。图像翻译是计算机视觉中研究最多的领域之一，近年来，由于生成对抗网络的发展，图像翻译领域得到了很大程度的发展。对于给定的来自两个不同域的成对的训练数据，我们可以使用有条件的生成对抗网络以监督的方式训练模型。在没有成对数据集的情况下，我们也可以使用无监督的循环生成对抗网络并使用自洽性损失(self‑consistency loss)来解决图像到图像的转换。

[0003]但该领域的大多数技术都专注于两个相似形状的风格之间的转换任务，例如季节转换、自拍到动漫，样式转换等，而在不同形状的物体之间的转换任务上没有较好的表现。发明内容

[0004]针对现有技术中的上述不足，本发明提供的一种基于生成对抗网络的图像形状变换方法解决了现有技术中存在的问题。[0005]为了达到上述发明目的，本发明采用的技术方案为：一种基于生成对抗网络的图像形状变换方法，包括以下步骤：[0006]S1、生成待变换图像的分割掩码；[0007]S2、构建生成器和判别器，并通过生成器和判别器构建生成对抗网络；[0008]S3、构建损失函数；[0009]S4、根据损失函数并以梯度下降法训练生成对抗网络；[0010]S5、得到图形形状变换将待变换图像的分割掩码输入至训练后的生成对抗网络，结果。

[0011]进一步地，所述步骤S1具体为：对待变换图像生成关于原始域X的分割掩码mx以及关于目标域Y的分割掩码my。[0012]进一步地，所述步骤S2中生成器包括依次连接的下采样模块、第一Resnet残差网络模块、第二Resnet残差网络模块、第三Resnet残差网络模块、第四Resnet残差网络模块、第五Resnet残差网络模块、第六Resnet残差网络模块以及上采样模块；[0013]所述下采样模块包括依次连接的第一填充层、第一卷积层、第一IN归一化层、第一激活层、第二卷积层、第二IN归一化层、第二激活层、第三卷积层、第三IN归一化层以及第三激活层；

[0014]每个所述Resnet残差网络模块均包括依次连接的第二填充层、第四卷积层、第四IN归一化层、第四激活层、第三填充层、第五卷积层以及第五IN归一化层；[0015]所述上采样模块包括依次连接的第一反卷积层、第六IN归一化层、第五激活层、第

5

CN 112837215 A

说　明　书

2/8页

二反卷积层、第七IN归一化层、第六激活层、第四填充层、第六卷积层以及第七激活层。[0016]进一步地，所述步骤S2中判别器包括依次连接的第七卷积层、第一SN归一化层、第一最大激活层、第八卷积层、第二SN归一化层、第八IN归一化层、第二最大激活层、第八卷积层、第三SN归一化层、第九IN归一化层、第三最大激活层、第三反卷积层、第四SN归一化层、第十IN归一化层、第四最大激活层、第四反卷积层以及第五SN归一化层。[0017]进一步地，所述步骤S2中通过生成器和判别器构建生成对抗网络的具体方法为：[0018]S2.1、构建将原始域X的给定图像转换到目标域Y中图像的生成器GXY，构建将目标域Y的给定图像转换到原始域X中图像的生成器GYX；[0019]S2.2、构建预测图像是否为目标域图像的判别器DY，构建预测图像是否为原始域图像的判别器DX；[0020]S2.3、将生成器GXY和生成器GYX相互连接，将生成器GXY与判别器DY连接，将生成器GYX与判别器DX连接，构建生成对抗网络。[0021]进一步地，所述步骤S2.3中生成对抗网络的一次循环生成过程包括原始域循环生成过程和目标域循环生成过程；

[0022]所述原始域循环生成过程具体为：[0023]S2.3.1.1、将原始域图片x及其分割掩码mx输入生成器GXY，得到第一目标域生成图片y'及其分割掩码m'y，记为GXY(x,mx)；[0024]S2.3.1.2、将目标域生成图片y'及其掩码m'y输入至生成器GYX，得到第一原始域生成图片及其分割掩码GYX(GXY(x,mx))；[0025]S2.3.1.3、将第一目标域生成图片y'及其掩码m'y与目标域图片y及其分割掩码my输入判别器DY进行判别，将第一原始域生成图片及其分割掩码GYX(GXY(x,mx))输入判别器DX进行判别，完成原始域循环生成过程；

[0026]所述目标域循环生成过程具体为：[0027]S2.3.2.1、将目标域图片y及其分割掩码my输入生成器GYX，得到第二原始域生成图片x'及其分割掩码m'x，记为GYX(y,my)；[0028]S2.3.2.2、将第二原始域生成图片x'及其分割掩码m'x输入生成器GXY，得到第二目标域生成图像及其分割掩码GXY(GYX(y,my))；[0029]S2.3.2.3、将第二原始域生成图片x'及其分割掩码m'x与原始域图片x及其分割掩码mx输入判别器DX进行判别，将第二目标域生成图像及其分割掩码GXY(GYX(y,my))输入判别器DY进行判别，完成目标域循环生成过程。

[0030][0031][0032]

进一步地，所述步骤S3中损失函数具体为：

其中，表示对抗损失函数，表示循环一直性损失函数，表示认证损失

函数，分别表示

[0033]

表示上下文保存损失函数，表示特征相似度损失函数，λλλλλadv、cyc、idt、ctx和fs

和

在损失函数具体为：

中所占权重。

进一步地，所述对抗损失函数

6

CN 112837215 A[0034]

说　明　书

3/8页

其中，DX(x,mx)表示判别器DX对原始域图片x及其分割掩码mx的判别输出，DX(GYX

(y,my))表示判别器DX对原始域生成图片及其分割掩码GYX(y,my)的判别输出，GYX(y,my)表示目标域图片y及其分割掩码my经过生成器GYX生成的原始域生成图片及其掩码，DY(y,my)表示判别器DY对目标域图片y及其分割掩码my的判别输出，DY(GXY(x,mx))表示判别器DY对目标域生成图片及其分割掩码GXY(x,mx)的判别输出，GXY(x,mx)表示原始域图片x及其分割掩码mx经生成器GXY生成的目标域生成图片及其分割掩码；

[0036][0037][0038]

[0035]

所述循环一直性损失函数具体为：

其中，GYX(GXY(x,mx))表示GXY(x,mx)经过生成器GYX生成的原始域生成图像及其分

割掩码，GXY(GYX(y,my))表示GYX(y,my)经过生成器GXY生成的目标域生成图像及其分割掩码，||*||1表示1‑范数；

所述认证损失函数

具体为：

[0039][0040]

其中，GXY(y,my)表示原始域图片x及其分割掩码mx输入生成器GXY后得到的第一目

标域生成图片y的分割掩码，GYX(x,mx)表示目标域图片y及其分割掩码my输入生成器GYX得到的第二原始域生成图片x'分割掩码；

[0042][0043]

[0041]

所述上下文保存损失函数具体为：

其中，ω(mx,m'y)表示通过分割掩码mx和m'y，使用一减去二进制表示的对象掩码

中元素最小值；ω(my,m'x)表示过分割掩码my和m'x，使用一减去二进制表示的对象掩码中元素最小值；y'表示原始域图片x经生成器GXY生成的目标域生成图片，x'表示目标域图片y及其分割掩码my经过生成器GYX生成的原始域生成图片；

[0045]

[0044]

所述特征相似度损失函数具体为：

[0046]

[0047]其中，FS(y,y')表示图像y与图像y'之间的相似度，表示与图像y'的特征

j最相似的图像y的特征i；N表示图像y的特征总数，其与图像y'的特征总数相同；h表示带宽

7

CN 112837215 A

说　明　书

4/8页

参数，

Wij表示相似性，

[0048]

表示从距离dij移动到Wij的指数化运算，dij表示归一化后的相似度距离，

表示归一化相似性，wik表示第k个Wij的相似性值。

本发明的有益效果为：

[0049](1)本发明提供了一种基于生成对抗网络的图像形状变换方法，实现了形状不同的物体图像之间的转换。[0050](2)本发明使用循环生成器和鉴别器来学习跨域映射，以目标实例为基础生成具有更接近基础分布的图像，并且可以有效地学习有关形状和位置的复杂分割指导属性。[0051](3)本发明提出了特征相似度损失函数，在源图像和目标图像之间明确制定相似度比较。[0052](4)本发明的复杂程度低，图像转换的效率高，可以高效地处理图片中的特定图像进行形状差异大的图形变换，可以运用在动画制作、海报设计等领域，既可以增强图形变换的真实度，也可以降低人工成本，减少工作量。附图说明

[0053]图1为本发明提出的一种基于生成对抗网络的图像形状变换方法的流程图。[0054]图2为本发明中生成器示意图。[0055]图3为本发明中下采样模块示意图。

[0056]图4为发明中Resnet残差网络模块示意图。[0057]图5为发明中上采样模块示意图。[0058]图6为发明中判别器示意图。

[0059]图7为发明中生成对抗网络示意图。

具体实施方式

[0060]下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。[0061]下面结合附图详细说明本发明的实施例。[0062]如图1所示，一种基于生成对抗网络的图像形状变换方法，包括以下步骤：[0063]S1、生成待变换图像的分割掩码；[00]S2、构建生成器和判别器，并通过生成器和判别器构建生成对抗网络；[0065]S3、构建损失函数；[0066]S4、根据损失函数并以梯度下降法训练生成对抗网络；[0067]S5、将待变换图像的分割掩码输入至训练后的生成对抗网络，得到图形形状变换结果。

[0068]在本实施例中，本发明可应用于游戏设计、动画、平面设计、医学影像以及风格迁移。所述步骤S1中待变换图像可为待变换医学图像、动画设计时的待变换形状的动画图像、

8

CN 112837215 A

说　明　书

5/8页

游戏设计时待变换形状的游戏人物或建筑图像以及平面设计中待变换的图像。[0069]所述步骤S1具体为：对待变换图像生成关于原始域X的分割掩码mx以及关于目标域Y的分割掩码my。[0070]如图2所示，所述步骤S2中生成器包括依次连接的下采样模块、第一Resnet残差网络模块、第二Resnet残差网络模块、第三Resnet残差网络模块、第四Resnet残差网络模块、第五Resnet残差网络模块、第六Resnet残差网络模块以及上采样模块；[0071]如图3所示，所述下采样模块包括依次连接的第一填充层ReflectionPad2d(3)、第一卷积层、第一IN归一化层、第一激活层ReLU、第二卷积层、第二IN归一化层、第二激活层ReLU、第三卷积层、第三IN归一化层以及第三激活层ReLU；[0072]如图4所示，每个所述Resnet残差网络模块均包括依次连接的第二填充层ReflectionPad2d(1)、第四卷积层、第四IN归一化层、第四激活层ReLU、第三填充层ReflectionPad2d(1)、第五卷积层以及第五IN归一化层；[0073]如图5所示，所述上采样模块包括依次连接的第一反卷积层、第六IN归一化层、第五激活层ReLU、第二反卷积层、第七IN归一化层、第六激活层ReLU、第四填充层ReflectionPad2d(3)、第六卷积层以及第七激活层ReLU。[0074]如图6所示，所述步骤S2中判别器包括依次连接的第七卷积层、第一SN归一化层、第一最大激活层LeakyReLU、第八卷积层、第二SN归一化层、第八IN归一化层、第二最大激活层LeakyReLU、第八卷积层、第三SN归一化层、第九IN归一化层、第三最大激活层LeakyReLU、第三反卷积层、第四SN归一化层、第十IN归一化层、第四最大激活层LeakyReLU、第四反卷积层以及第五SN归一化层。

[0075]所述步骤S2中通过生成器和判别器构建生成对抗网络的具体方法为：[0076]S2.1、构建将原始域X的给定图像转换到目标域Y中图像的生成器GXY，构建将目标域Y的给定图像转换到原始域X中图像的生成器GYX；[0077]S2.2、构建预测图像是否为目标域图像的判别器DY，构建预测图像是否为原始域图像的判别器DX；[0078]S2.3、如图7所示，将生成器GXY和生成器GYX相互连接，将生成器GXY与判别器DY连接，将生成器GYX与判别器DX连接，构建生成对抗网络。[0079]在本实施例中，生成器一共由三个模块组成：下采样模块、Resnet残差网络模块、上采样模块。

[0080]下采样模块通过4层的卷积操作将输入为(1,4,256,256)的特征向量转化成(1,256,,)的特征向量。Resnet残差网络模块一共由6个Block组成，输入输出的特征向量的纬度保持不变；上采样模块通过5层的卷积操作将输入为(1,512,,)的特征向量转化成(1,3,256,256)的特征向量。[0081]判别器由2个模块组成，分别为下采样模块和分类器模块，下采样模块通过3层的卷积操作将输入为(1,3,256,256)的特征向量转化成(1,256,32,32)的特征向量。

[0082]所述步骤S2.3中生成对抗网络的一次循环生成过程包括原始域循环生成过程和目标域循环生成过程；

[0083]所述原始域循环生成过程具体为：[0084]S2.3.1.1、将原始域图片x及其分割掩码mx输入生成器GXY，得到第一目标域生成图

9

CN 112837215 A

说　明　书

6/8页

片y'及其分割掩码m'y，记为GXY(x,mx)；[0085]S2.3.1.2、将目标域生成图片y'及其掩码m'y输入至生成器GYX，得到第一原始域生成图片及其分割掩码GYX(GXY(x,mx))；[0086]S2.3.1.3、将第一目标域生成图片y'及其掩码m'y与目标域图片y及其分割掩码my输入判别器DY进行判别，将第一原始域生成图片及其分割掩码GYX(GXY(x,mx))输入判别器DX进行判别，完成原始域循环生成过程；

[0087]所述目标域循环生成过程具体为：[0088]S2.3.2.1、将目标域图片y及其分割掩码my输入生成器GYX，得到第二原始域生成图片x'及其分割掩码m'x，记为GYX(y,my)；[00]S2.3.2.2、将第二原始域生成图片x'及其分割掩码m'x输入生成器GXY，得到第二目标域生成图像及其分割掩码GXY(GYX(y,my))；[0090]S2.3.2.3、将第二原始域生成图片x'及其分割掩码m'x与原始域图片x及其分割掩码mx输入判别器DX进行判别，将第二目标域生成图像及其分割掩码GXY(GYX(y,my))输入判别器DY进行判别，完成目标域循环生成过程。

[0091][0092][0093]

所述步骤S3中损失函数具体为：

其中，表示对抗损失函数，表示循环一直性损失函数，表示认证损失

函数，分别表示

[0094][0095]

表示上下文保存损失函数，表示特征相似度损失函数，λλλλλadv、cyc、idt、ctx和fs

和

在损失函数

中所占权重。

所述对抗损失函数具体为：

其中，DX(x,mx)表示判别器DX对原始域图片x及其分割掩码mx的判别输出，DX(GYX(y,my))表示判别器DX对原始域生成图片及其分割掩码GYX(y,my)的判别输出，GYX(y,my)表示目标域图片y及其分割掩码my经过生成器GYX生成的原始域生成图片及其掩码，DY(y,my)表示判别器DY对目标域图片y及其分割掩码my的判别输出，DY(GXY(x,mx))表示判别器DY对目标域生成图片及其分割掩码GXY(x,mx)的判别输出，GXY(x,mx)表示原始域图片x及其分割掩码mx经生成器GXY生成的目标域生成图片及其分割掩码；

[0097][0098][0099]

[0096]

所述循环一直性损失函数具体为：

其中，GYX(GXY(x,mx))表示GXY(x,mx)经过生成器GYX生成的原始域生成图像及其分

割掩码，GXY(GYX(y,my))表示GYX(y,my)经过生成器GXY生成的目标域生成图像及其分割掩码，||*||1表示1‑范数；

所述认证损失函数

具体为：

[0100][0101]

10

CN 112837215 A[0102]

说　明　书

7/8页

其中，GXY(y,my)表示原始域图片x及其分割掩码mx输入生成器GXY后得到的第一目

标域生成图片y的分割掩码，GYX(x,mx)表示目标域图片y及其分割掩码my输入生成器GYX得到的第二原始域生成图片x'分割掩码；

[0103][0104]

所述上下文保存损失函数具体为：

其中，ω(mx,m'y)表示通过分割掩码mx和m'y，使用一减去二进制表示的对象掩码

中元素最小值；ω(my,m'x)表示过分割掩码my和m'x，使用一减去二进制表示的对象掩码中元素最小值；y'表示原始域图片x经生成器GXY生成的目标域生成图片，x'表示目标域图片y及其分割掩码my经过生成器GYX生成的原始域生成图片；

[0106]

[0105]

所述特征相似度损失函数具体为：

[0107]

[0108]其中，FS(y,y')表示图像y与图像y'之间的相似度，表示与图像y'的特征

j最相似的图像y的特征i；N表示图像y的特征总数，其与图像y'的特征总数相同；h表示带宽参数，

表示从距离dij移动到Wij的指数化运算，dij表示归一化后的相似度距离，

Wij表示相似性，Wij/∑kwik表示归一化相似性，wik表示第k个Wij的相似性值。

[0109]利用这些高级特征计算两幅图像之间的相似度FS(y,y')。具体来说，在正向过程中，每一层生成特征图，由真实训练数据得到的真实图像y’包含yi特征，而合成图像y’包含y’y’假设这两幅图像的特征数Nj特征，j特征的内容属性和样式属性与真实域数据集一致，相同，其中N＝|R|＝|F|。我们发现每个y’即j最相似的特征yi，

然后，将y’j上的所

有相似值相加，计算出两幅图像之间的上下文相似值，最后除以N得到平均相似度FS(y,y')。

[0110]本发明的有益效果为：[0111](1)本发明提供了一种基于生成对抗网络的图像形状变换方法，实现了形状不同的物体图像之间的转换。[0112](2)本发明使用循环生成器和鉴别器来学习跨域映射，以目标实例为基础生成具有更接近基础分布的图像，并且可以有效地学习有关形状和位置的复杂分割指导属性。[0113](3)本发明提出了特征相似度损失函数，在源图像和目标图像之间明确制定相似度比较。

11

CN 112837215 A[0114]

说　明　书

8/8页

(4)本发明的复杂程度低，图像转换的效率高，可以高效地处理图片中的特定图像

进行形状差异大的图形变换，可以运用在动画制作、海报设计等领域，既可以增强图形变换的真实度，也可以降低人工成本，减少工作量。

12

CN 112837215 A

说　明　书　附　图

1/7页

图1

13

CN 112837215 A

说　明　书　附　图

2/7页

图2

14

CN 112837215 A

说　明　书　附　图

3/7页

图3

15

CN 112837215 A

说　明　书　附　图

4/7页

图4

16

CN 112837215 A

说　明　书　附　图

5/7页

图5

17

CN 112837215 A

说　明　书　附　图

6/7页

图6

18

CN 112837215 A

说　明　书　附　图

7/7页

图7

19