第４４卷第５期 ２０１７年５月 计算机科学 Ｖｏ１．４４ Ｎｏ．５ Ｍａｙ ２０１７ ＣＯＭＰＵＴＥＲ ＳＣＩＥＮＣＥ 基于目标识别与显著性检测的图像场景多对象分割 李青 袁家政 刘宏哲。 （北京联合大学计算机技术研究所北京１００１０１） （北京联合大学北京市信息服务工程重点实验室 北京１００１０１）。 摘要提出了一种基于目标识别与显著性检测的图像场景多对象分割方法。该方法的步骤包括：在图像训练集上 训练语义对象的检测器，用来检测输入图像中对象的位置，标定对象的包围盒；对输入的图像进行过分割处理，得到超 像素集合，根据包围盒的位置和超像素的语义概率值计算兴趣区域；在３种稠密尺度上进行场景显著性检测，得到输 入图像的显著图；在兴趣区域内计算超像素的邻接关系，形成邻接矩阵，构建条件随机场模型，将多对象分割问题转化 成多类别标记问题，每一个对象是一种类别；以每个超像素作为场模型的节点，超像素的邻接关系对应场模型中节点 之间的连接关系，将显著性和图像特征转化为节点和边的权重值；利用图割算法，在条件随机场模型上进行优化，迭代 终止时得到像素的对象标记结果，从而实现对多个对象的分割。实验结果表明该方法效果较好。 关键词 图像分割，语义标记，对象推理 中图法分类号ＴＰ３９１ 文献标识码Ａ ＤＯＩ １０．１１８９６／ｊ．ｉｓｓｎ．１００２—１３７Ｘ ２０１７．０５．０５７ Ｍｕｉｔｉ－ｏｂｊｅｃｔ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｉｍａｇｅ Ｓｃｅｎｅ Ｂａｓｅｄ Ｏｉｌ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｓａｌｉｅｎｃｙ Ｄｅｔｃｔｅｉｏｎ ＬＩ Ｑｉｎｇ ＹＵＡＮ Ｊｉａ－ｚｈｅｎｇ ＬＩＵ Ｈｏｎｇ－ｚｈｅｚ （Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｔｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ Ｕｎｉｏｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ １００１０１，Ｃｈｉｎａ） （Ｂｅｉｊｉｎｇ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｊｉｎｇ Ｕｎｉｏｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ １００１０１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ Ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｄ ａ ｍｕｌｔｉ－ｏｂｊｅｃｔ ｓｅｇｍｅｎｔａｔｉｏｎ ｍｅｔｈｏｄ ｏｆ ｉｍａｇｅ ｓｃｅｎｅ ｂａｓｅｄ ｏｎ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｓａｌｉｅｎ－ ｃｙ ｄｅｔｅｃｔｉｏｎ．Ｔｈｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ ｉｓ ｌｅａｒｎｅｄ ｏｎ ｔｈｅ ｔｒａｉｎｉｎｇ ｓｅｔ，ａｎｄ ｔｈｅｎ ｉｓ ｕｓｅｄ ｔｏ ｌｏｃａｔｅ ｔｈｅ ｏｂｊｅｃｔ ｉｎ ｔｈｅ ｔｅｓｔ ｉｍａｇｅ ｗｉｔｈ ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ ｉｔｓ ｂｏｕｎｄｉｎｇ ｂｏｘ．Ｔｈｅ ｔｅｓｔ ｉｍａｇｅ ｉｓ ｏｖｅｒ－ｓｅｇｍｅｎｔｅｄ ｉｎｔｏ ａ ｓｅｔ ｏｆ ｓｕｐｅｒｐｉｘｅｌｓ．Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｌｏｃａ— ｔｉｏｎ ｏｆ ｂｏｕｎｄｉｎｇ ｂｏｘ ａｎｄ ｔｈｅ ｓｕｐｅｒｐｉｘｅｌ－ｌｅｖｅｌ ｐｒｏｐｏｂｉｌｉｔｉｅｓ，ｔｈｅ ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ ｉｓ ｆｉｘｅｄ．Ｔｈｅｎ，ａ ｓａｌｉｅｎｃｙ ｍａｐ ｉｓ ｏｂ— ｔａｉｎｅｄ ｔｈｒｏｕｇｈ ａ ｔｈｒｅｅ－ｓｃａｌｅ ｓａｌｉｅｎｃｙ ｄｅｔｅｃｔｉｏｎ．Ｉｎ ｔｈｅ ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ，ａ ｅＲ１ｃ ｍｏｄｅｌ ｉｓ ｅｓｔａｂｌｉｓｈｅｄ ａｍｏｎｇ ｔｈｅ ｎｅｉｇｈｂｏ－ ｒｉｎｇ ｓｕｐｅｒｐｉｘｅｌｓ，ｗｈｏｓｅ ｎｏｄｅｓ ｉｎｄｉｃａｔｅ ｔｈｅ ｓｕｐｅｒｐｉｘｅｌｓ ａｎｄ ｅｄｇｅｓ ｉｎｄｉｃａｔｅ ｔｈｅｉｒ ｎｅｉｇｈｂｏｒｈｏｏｄ．Ｔｈｅ ｓａｌｉｅｎｃｙ ｏｆ ａ ｓｕｐｅｒｐｋ ｘｅｌ ｉｓ ｅｍｂｅｄｄｅｄ ｉｎｔｏ ｔｈｅ ｗｅｉｇｈｔ ｏｆ ｒｅｌａｔｉｖｅ ｎｏｄｅ，ａｎｄ ｔｈｅ ｆｅａｔｕｒｅ ｄｉｆｆｅｒｅｎｃｅ ｂｅｔｗｅｅｎ ｔｗｏ ｎｅｉｇｈｂｏｒｉｎｇ ｓｕｐｅｒｐｉｘｅｌｓ ｉｓ ｅｍ— ｂｅｄｄｅｄ ｉｎｔｏ ｔｈｅ ｗｅｉｇｈｔ ｏｆ ｒｅｌａｔｉｖｅ ｅｄｇｅ．Ｔｈｕｓ，ｔｈｅ ｍｕｌｔｉ－ｏｂｊｅｃｔ ｓｅｇｍｅｎｔａｔｉｏｎ ｔａｓｋ ｉｓ ｔｒａｎｓｆｏｒｍｅｄ ｉｎｔｏ ａ ｍｕｌｔｉ—ｌａｂｅｌｉｎｇ ｔａｓｋ．Ｆｉｎａｌｌｙ，ｔｈｅ ＣＲＦ ｆｏｒｍｕｌａｔｉｏｎ ｉｓ ｏｐｔｉｍｉｚｅｄ ｕｓｉｇ ｎｇｒａｐｈ ｃｕｔ ａｌｇｏｒｉｔｈｍ ｔＯ ｇｅｔ ｔｈｅ ｍｕｌｔｋｏｂｊｅｃｔ ｓｅｇｍｅｎｔａｔｉｏｎ ｒｅｓｕｌｔ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈｅ ｇｏｏｄ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｏｕｒ ｍｅｔｈｏｄ． Ｋｅｙｗｏｒｄｓ Ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ，Ｓｅｍａｎｔｉｃ ｌａｂｅｌｉｎｇ，Ｏｂｊｅｃｔ ｒｅａｓｏｎｉｎｇ １ 引言 在科技发展的推动下，图像场景内容的理解、处理、加工 逐渐发展为计算机视觉、模式识别、人工智能、虚拟现实等领 种语义类别的对象有可能表现出不相似的外观特征，不同语 义类别的对象也有可能表现出相似的外观特征，这为计算机 识别出不同语义类别的对象并准确分割出对象的轮廓区域带 来了挑战。 图像场景语义分割的准确定义是为图像中的每一个像素 赋予一个语义类别的标记，从而将图像场景中不同的对象内 容识别并且分割出来，它是建立在识别的基础上的。２００６ 年，微软剑桥研究院的Ｓｈｏｔｔｏｎ等提出了语义标记的概念，并 域及其交叉方向的国际前沿研究热点。其中，图像场景语义 分割是图像场景内容理解的关键问题，它涉及到很多应用行 业，如智慧旅游、智能交通、公共安全、影视娱乐等；同时它也 是难点问题，表现在：由于图像内容外观特征变化多样，同一 到稿日期：２０１６—０８—０７返修日期：２０１６—１１—１３ 本文受国家自然科学基金（６１５０２０３６），北京市教委科技计划一般项目（ＫＭ２０１６１１４１７０１５）， 北京市信息服务工程重点实验室开放课题（Ｚｋ２０２０１５０２）资助。 李青（１９８３一），女，博士，讲师，ＣＣＦ会员，主要研究方向为计算机视觉、图像处理，Ｅ－ｍａｉｌ：ｌｉｑｉｎｇｌ０＠ｂｕｕ．ｅｄｕ．ｃｎ（通信作者）；袁家政（１９７１一）， 男，博士，教授，主要研究方向为图形图像处理、文物遗迹的数字化处理、数字博物馆等；刘宏哲（１９７１一），女，博士，教授，主要研究方向为图像 处理、多媒体语义计算等。 第５期 李青。等：基于目标识别与显著性检测的 像场景多对象分割 作用，并且对象通常具有一定的形状，以此与场景卡于质类｝ｊｌｊ逊 行区分。 实现ｒ将对象识别、分割与标记集于一体的场景类别级语义 分割算法 ，该算法开创了场景语义分割的里程碑．并形成ｒ 基于参数学习的语义分割模式。随后，许多研究工作都着力 于这种有参数的方式，涉及到街景 、白然场景 、审内场 景 等众多种类的图像场景。 随着互联网图像的爆发式增长，对图像场景内容弹解的 需求也往小断提高。传统的有参数学习方式需要固定的数据 集（包括图像数量固定和语义类别同定），住叫对海量冈像数 据时．这种方式存在着一定的局限，对于新的语义类刖，需要 重新学习模型参数。２００９年，麻省理工学院的Ｌｉｕ等提出＿ｒ＿ （ａ）输入图像 （ｂ）语义分割臼标（这里只 示ｒ马这种剥 象类别．其他类别作 为背景没有 示） （ｃ）对象分割¨标（不同 的灰度代表不同的 对象） 一种非参数的场景解析方法，并首次将这种方法定义为语义 迁移方法 。它的思想足。利用已经标注语义信息的相似图 像将语义信息迁移到待分析的冈像上。冈此．语义迁移的关 键点足如ｆｎ『准确实现待分析图像和已标记图像之间的像素级 配。后续关于语义迁移的研究工作也主要集中在这一点 上 ：。 口前， 管足有参数学习还足非参数解析，大多数场景语 义分割方法都还处于场景类别 次的语义分割阶段，即划分 出场景『１４小同语义类别内容的 域，而对场景 对象的语义 分割的关注较少。当场景中出现同一类别的多个对象时，场 景类别层次的语义分割将这多个对象划分为“一个对象”。口 前．在单个对象分割领域，国内外学者提出ｒ一些较为有效的 场景对象分割方法，包括对象抠取算法 “ ”。、对象共分割算 法 等。例女ｕ，微软剑桥研究院的Ｒｏｔｈｅｒ等提出ｒ对象共 分割的概念ｌ１２ １３］，即将多张图像中的相似对象同时分割出 来；明尼苏达大学的Ｂａｉ等提出１广一系列图像和视频对象的 抠取算法 ”Ｊ．它们通过用户交互提供潜在的对象先验信 息。但是这些方法基本上都足 绕着冈像Ｉｆ１的视觉内容进行 划分的，缺少语义信息，继而也缺少语义所对应的先验信息， 即无法识别和理解所分割对象的语义。 随着行业技术的发展，这种类别级的划分越来越难以满 足实际应用对场景内容和对象ｌｘｉ域的需求。例如．存在这样 的需求：住安仝监控系统ｌｆＪ，当场景ＩＩｌ有多个人出现时，需要 算法把每个人都划分出来，以便于进一步分析。然而对于同 一个场景ｒ｛１出现多个同类别对象的情况，目前村Ｉ火的研究工 作还比较少。这种情况已经引起Ｊ 同内外学者们的关注，因 此口前的研究工作开始逐步转 向场景对象的语义分割。 例女ｕ，澳大利亚同立大学的Ｇｏｕｌｄ等提出ｒ一种基于样例随 机场模型的罔像多对象分割方法 ，北ｇ－罗莱纳大学教堂… 分校的 Ｉ＇ｉｇｈｅ等提出＿ｒ一种基于样例检测的 域级图像解析 方法 ¨ｕ。由于对象的语义分割难度非常大，陔方向的研究工 作还处于初始阶段，场景中对象的语义分割还有很大的提升 空间。 针对上述研究现状与存在的问题．本文提出一种基于口 标识别与 酱性检测的图像场景多对象分割方法．旨在提供 ７佧确的具有语义类别信息的多对象 域划分，如陶１所示，即 住识别出对象类别的同时还划分出同一类别不同对象的区 域。本史【ｆ】所使用的对象的定义与文献［１８ １９］类似，对象所 属类别在场景中所占区域较少，但足对场景 解具有重要的 图１本方法的目标。 ２方法 本方法的总体流程如图２所示。对输入的冈像进 过分 割处理，得到图像的超像素集合；另一方面，对输入的 像进 行目标检测和场景语义识别，得到测试图像的对象以”《ｆＩｌ定 位包 盒，根据包 盒和语义概率值计算对象的兴趣Ｉｘ域；然 后，对测试图像进行３种稠密尺度的显善性检ａｎ．Ｉ．得到像素城 显著图，并将其转化成超像素的显著性值；住兴趣 域 ．构 建条件随机场模型，将多对象分割问题转化成多类刖标 川 题，兴趣 域内的超像索对应模型的节点，超像素的邻接父系 对应模型的边；利用图割算法，在条件随机场模＿｝｝ｌ』｝。进 优 化，迭代终止时得到像素的对象标记结果，从而实 ｒ多１、对 象的分割。 叫豫诸ｔ ；粜 图２方法总体流程图 对于输入图像，首先进行过分割、对象检测和ｌ｝ＪＪ始 辽ｆＩ１１ 计，确定对象分割的兴趣 域；另一方皿，根据 像特 计算 对象显酱性：结合兴趣 域和 著性构建图像的条件随机场 模型，并优化求解。得到带有语义信息的对象分割结果。 ｛玎 始语义识别的可视化效果ｌ｝】，小同灰度对应不同的语辽炎刖； 住对象语ｌ艾分割结果可视化效果ｌｆｌ，不同灰度时应小同的” 象。 ２．１ 基于对象识别的兴趣区域检测 为实现带有语义信息的对象分割，语义类别的 １）ｊＩＪ足小 可缺少的．它为对象分割提供了一个初始的语ｌ义信息。利ｊｉｔ ３１Ｏ 计算机科学 ｓｃａｌｅ２．每隔３个像素点取一个像素点作为滑动窗的中心点； ａｌｅ３．每隔２个像素点取一个像素点作为滑动窗的中心点。 滑动窗口的大小为７＊７，在图像上进行从左至右、从上至下 的滑动检测。对于每一个窗口内的块结构 ｈ，计算其 ＲＧＢ颜色空间ｆ｝ｌ ３个通道的颜色均值（见式（１）），并将其作 为｝亥块结构中心点像素的特征值Ｆ （ｉ， ）。 Ｒ（ｉ，ｊ）一 ｆ；（ ， ）一 经典的＂ｌ＇ｅｘｔｏｎｌ￣ｏｓｔ算法 在已经标注Ｊ 语义信息的训练集 图像上学习多类别识别分类器，将这些多个类别的分类器分 别作用于测试图像，得到每一个像素点属于每一种类别的概 率值，即得到测试图像的像素级语义类别概率图，其可视化效 果对应图２中的初始语义识别图。 为检测罔像【ｆ１对象的数量，并为后续时象分割提供数量 信息，通过对象检测得到图像中对象的数量，为后续对象对割 提供数量信息，并缩小计算Ｊ 域。住训练集罔像上，利用Ｅｘｅｔｒｒ １ ． （ 一３：ｉ＋３，Ｊ一３：ｊ＋３５ （ 一３：ｉ－＋－３， 一３： ＋ ｐｌａｒ－ＳＶＭ ｊ算法训练小同类别对象的分类器。针对每一种 １ ， 类别的分类器，将该分类器作用于测试图像，输出多个对象包 盒，其可视化效果对应罔２中的对象检测图，可以看到部分 包 盒之间有重叠的区域。对于输出的多个对象包 盒，按 照分值进行排序，选择分值最高的前 个包围盒作为候选集。 的选取方式如下：由于待分割的对象的个数由对象检测器 确定，对于检测器所定位的对象包闱盒，如果其分值大于设定 阈值拍，一１，则认为场景ｒｆｌ存在一个与之对应的对象；否则含卉 该包嗣盒。通过阈值ｔｈｒ１筛选，得到的包 盒数量即为ｋ。 由于每张图像中对象的数量不同， 同的罔像具有小同的 值，为确保尽可能的准确，根据数据集的先验信息。住训练集 像上学习得到阈值 ，‘１的设定值。 为提高算法的计算效率，对图像进行过分割处理．利用 ｇＰｂ算法 得到超像素集合．超像素数量级为１０００左右。 住超像素级别的测试图像上确定对象的兴趣 域．兴趣 域 以外的区域小作为计算范 。对于对象ｃ， 及其类别Ｃ，兴 趣 域的确定麻符合以下的原则： （１）语义类别Ｃ的超像素区域属于兴趣 域； （２）对象ｏｂｊ的超像素区域属于兴趣区域。 根据对象检测结果，遍历ｋ个包嗣盒，选择包 盒的超像 素集合；根据初始语义概率图巾Ｃ类别的概率分布，选择概 率值大于一定阈值ｔｈｒ２的超像素 域；这两种 域的合集构 成厂兴趣区域。阈值ｔｈｒ２的取值通过学习得到：住训练集罔 像的初始语义概率图上学习Ｃ类别概率值分布，选取满足 ９５ 以上Ｃ类刖正样本的概率值记为ｔｈｒ２。如罔２所／１÷，住 兴趣区域图ｌｆｌ，符合条件的包围盒只有两个，分别将其椎出， 同时对象类别概率值符合条件的区域用、 透明状念标识。 ｒｆ１于包匍盒的边界与超像素的边 存住一定的间距，为 防止包围盒边界将一个超像素划分为两个 域．需要对其进 行以下处理：当包 盒的分值大于设定阈值ｔｈｒｌ时，认为陔 包 盒足高可靠性的包嗣盒，确定处于该包围盒范 内的超 像素子集。如果一个超像素中超过一定比例的像素点处于陔 包围盒范围内，则认为该超像素处于该包嗣盒范围，在本义 中．比例值设定为８０ 。 ２．２显著性检测 显著性反映ｒ视觉对 菩对象的父注，在一定程度Ｅ反 映了对象的Ⅸ域，近年来湿酱性检测与对象分割的结合越来 越紧密 本文使用一种ｃｏａｒｓｅ－ｔｏ－ｆｉｎｅ的二三级稠密尺度 著性检测，３种尺度由糟１至细分别记为 ａｌｅ１． ａｌｅ２．ｓｅａｌｅ３。 ａｌｅｌ，每隔４个像素点取一个像素点作为滑动窗的『Ｉｊ心点； ， ｆ１） １ ｔ３（ｉ， ）一 （ｉ－－３： ＋３，Ｊ一３： ＋３） ， Ｆｐ （ｉ， ）一（尺（ｉ． ），Ｇ（ｉ，． ），Ｂ（ｉ， ）） 其一ｆｔ，ｓｉｚｅ（Ｐ）为滑动窗口大小．（ｉ， ）表示 前ｐａｔｃｈ的中心 点。 住３个尺度上滑动扫描，形成块结构集合｛Ｐ｝，对所有块 结构进干亍颜色值归一化处理。如图３所示．其ｌ｝１网（ａ）为 ａｔｅｌ的显著性可视化效果，图（ｂ）为ｓｃａｌｅ２的 著性可视化 效果，罔（ｃ）为ｓｃａｌｅ３的显著性可视化效果。针对 前窗口块 结构ｐａｔｃｈ（ ， ），计算所有块结构到ｐａｔｃｈ（ｉ， ）在颜色空间的 欧氏距离值并排序，在３个尺度上选择距离最近的Ｍ个块结 构．以此Ｍ个块结构的颜色平均值作为该块结构中心点像素 的 酱性值Ｓ（ｉ，Ｊ）。根据图像的分辨率和块结构的数量级． 实验ｒｌＩ Ｍ取值６Ｏ。 （ａ） ‘ｂ） （ｃ） 注：颜色越浅代表对象显著性越高．颜色越深代表对象 著性越低。 图３多尺度对象显著性检测示意网 对于滑动窗口未采样的点，它的显著性值足根据它的颜 色值以及它周围像素点的显著性值进行线性插值得到的，计 算过程如式（２）所示： ｓ（ｉ， ）一∑ｌ ｃｏｌｏｒ（ｉ，Ｊ）－－ｃｏｌｏｒ（ｘ， ）Ｉ ｛１一 ｃ ｒ，ｖ）∈ ｄｉｓ（ｘ， ）｝ （２） 其ｒＩＩ．Ｎ为（ｉ，Ｊ）的邻域集，ｃｏｌｏｒ（・）为像素点的颜色值．ｄｉｓ （ Ｌｖ）为邻域点（ ，Ｌｖ）到该点的距离。所有度量都进行ｒ归 一化处理。 通过滑动窗口扫描得到的是像素级显著性，根据像素点 与超像素的对应关系，以超像素巾所有像素的 著性均值作 为该超像素的显著性值，将像素级显著性转化成超像素级 善性，为后续构建超像素级条件随机场模型提供了基础。 ２．３条件随机场模型 传统语义分割方 大多通过构建条件随机场模型 （ＣＲＦ）将语义分割问题转化为多类别标记问题。多对象分割 【ｊ王可看作一个多类别标记问题，不同于语义分割的足：每一个 对象是一种标签，非对象的图像区域默认为“其他”标签。在 兴趣 域的范围内，构建超像素级条件随机场模型．每一个超 像素对应场模型的一个节点，超像素之间的邻接＿火系对应场 第５期 李青，等：基于目标识别与显著性检测的图像场景多对象分割 ３１１ 模型中相应的边。条件随机场模型的能量定义如式（３）所示， 其中【，为能量单一项（Ｕｎａｒｙ Ｔｅｒｍ），Ｂ为能量二元项（Ｂｉｎａｒｙ Ｆｅｎ＇ｎ），Ｕ包括 和Ｕ０。 （３） 度表示了不同的语义类别，颜色最深表示不确定类别的区域， 记为“ｖｏｉｄ”。『＝｝１于本方法处理的是对象的语义标记，该数据 集没有提供相应的对象标记，因此需要对数据集中的图像进 行标注处理，手工标记同一类别的不同对象，如图４（ｃ）所示， 不同灰度标记不同的对象，非对象区域为背景。同时，为训练 对象识别器，还需要对图像中的对象进行包围盒的标注，如图 Ｅ（ ）一Ｕ 。｝（ｒ）＋Ｂ（ｒ， ） 根据对象检测并处理后得到的包围盒能够确定场景中对 象的个数，即场模型的多类别标记数。超像素的显著性值反 映了它是对象的可能性，但没有反映出它属于哪一个对象。 因此，能量单一项的计算方式为：计算每个超像素属于每个对 象（包括“其他”对象）的概率值，如果超像素的显著性值大于 设定阈值ｔｈｒ３，则该超像素属于每个对象的概率值由３部分 构成，即该超像素的显著性值、该超像素是否属于对象的包围 盒以及该包围盒的分值，否则该超像素属于每个对象的概率 值为零；如果超像素的显著性值小于设定阈值ｔｈｒ３，则该超像 素属于“其他”对象，其概率值由它的显著性确定，否则概率值 为零，如式（４）所示。阈值ｔｈｒ３同样是通过学习选取的，在训 ４（ｄ）所示，矩形包围盒框标记了对象的范围。 （ａ）原始图像 （ｂ）对象语义标记ｇｍｕｎｄ ｔ ｎｌｔｈ 练集图像上学习对象样本区域的显著性值概率分布，选取满 足９Ｏ 以上对象区域的显著性值记为ｔｈｒ３。 ｆ ｅｘｐ（Ｓ（ｒ）＋ｉｎｂｏｘ（，‘，矗）＊、，（是））， ｉｆ Ｓ（，‘）＞ｔｈｒ３ １【，０． ｅｌｓｅ （ｃ）对象分割标记ｇｒｏｕｎｄ ｔｒｕｔｈ （ｄ）对象检测包围盒ｇｍｕｎｄ ｔｒｕｔｈ 图４训练集图像标注信息 Ｌ ｃｒ 一｛【。０ ｐ‘——ｓ‘ｒ ’ｅｉ ｌｓｓｅ‘ｒ ＜ 而坞 （４） ３．２语义识别 以马这种类别为例，在训练数据集上训练对象识别的分 类器来检测对象。根据Ｅｘｅｍｐｌａｒ－ＳＶＭ［ ，从８Ｏ张训练图像 中选择１Ｏ张样例图像作为ｔｒａｉｎｉｎｇ样本，这１Ｏ张图像包含 多个角度、多种颜色的对象实例。７０张训练集图像作为ｖａｌｉ— 其中， （ｒ）代表超像素ｒ属于对象标签ｋ的概率值； （ｒ）代 表超像素ｒ属于“其他”对象标签０的概率值；Ｓ（ｒ）为超像素 的显著性；ｉｎｂｏｘ（ｒ，ｋ）是指示函数，指示超像素ｒ是否处于对 象ｋ的包围盒范围； （忌）为对象是的包围盒分值。 ＣＲＦ场模型二元项的计算方式如式（５）所示。Ｂ（ｒ， ）由 该边所连接的两个超像素之间的特征差异决定；Ｎｅｉ（ｒ， ）指 ｄａｔｉｏｎ，在２３７张测试图像上进行具有语义识别的对象检测。 在对象识别和兴趣区域检测实验中，阈值ｔｈｒｌ设置为０．１２．ｋ 的取值不超过７，ｔｈｒ２设置为０．４。语义识别的准确率如表１ 所列，与经典方法Ⅲ相比，本方法具有一定的优势。 表ｌ类别识别的语义标记准确率／ 示邻接关系，取值为｛１，０｝；超像素特征向量Ｆｅａ（ｒ）的组成包 括颜色滤波特征 ］、边界特征 ］、ＨＯＧ梯度特征以及形状先 验，这些特征均为像素级；需要将其转化为超像素级；特征差 异为两个超像素在特征空间的欧氏距离； 和 是调节参数。 Ｂ（ｒ，ｓ）一Ｎｅｉ（ｒ，ｓ）＊Ｓｍｏｏｔｈ（ｒ，５） ３．３对象分割 Ｓｍｏｏｔｈ（ｒ， ）一ｅｘｐ（一 ＊ｌ｝Ｆｅａ（ｒ）一Ｆｅａ（ ）ｌｌ＋ ｌｏｇ（ＩＩ Ｆｅａ（ｒ）一Ｆｅａ（ｓ）【ｌ＋１）＋ｃ （５） 对象标记为每一个像素赋予唯一的对象标记，而语义标 记为每一个像素赋予唯一的类别标记，对象标记准确率的计 算方式与语义标记不同。将错误的语义标记赋予一个像素 时，会导致整个场景的理解出现偏差；但是将错误的对象标记 赋予一个对象的像素时，不会改变它是一个对象的事实，对象 标记的目的在于将不同的对象划分开。 利用图割（Ｇｒａｐｈ－ｃｕｔ）算法Ｅ２４－２５］将ＣＲＦ模型能量最小 化，待标记的对象标签包括对象检测包围盒确定的对象以及 一个“其他”标签，“其他”标签用于将兴趣区域中不属于对象 的超像素标记“剔除”。当图割优化终止时，每一个超像素都 被标记为一个对象标签。 根据对象标记的特点，采用如下方式对对象标记准确率 进行计算：１）在所有基准对象上的像素级平均准确率（Ｍｉ— ＡＲ）；２）在所有识别像素上的总体像素级准确率（Ｍａ－ＡＰ）； ３）在所有基准像素上的总体像素级准确率（Ｍａ—ＡＲ）。为计 算准确率，基于收益最大化的原则，将对象标记结果按照数据 集中的对象标记顺序进行序号转化，以便与ｇｒｏｕｎｄｔｒｕｔｈ进行 匹配，找到对应的匹配对。表２所列为本方法与文献［１８］中 方法在准确率方面的对比，可以看到，虽然Ｍａ－ＡＰ指标比采 用文献Ｅ１８３中方法所得的低１Ｏ个百分点，但是在Ｍｉ－ＡＲ和 Ｍａ—ＡＲ这两个指标上本方法优于文献Ｅ１８３中的方法。 ３实验 ３．１数据集 为验证本方法的有效性，在公共数据集ｐｏｌｏＦ ”］上进行 测试。该数据集有３１７张图像，其中包括８０张训练图像和 ２３７张测试图像；包含６种语义类别，分别是天空、草地、人、 马、地面、树木。其中对象类别是人和马，每一张图像中至少 包含一个以上的人或者马的对象实例。该数据集提供了原始 图像和对应的语义标记图，如图４（ａ）和图４（ｂ）所示．不同灰 ３】２ 表２性能对比与分析／ 计算机科学 ２０１７正 ［３］ ＹＡＯ Ｊ，ＦＩＤＩ ＥＲ Ｓ，ＵＲＴＡＳＵＮ Ｒ．Ｄｅｓｃｒｉｂｉｇ ｔｈｅ ｓｃｅｎｅ ａｓ ａ ｎｗｈ０ｌｅ：Ｊｏｉｎｔ ｏｂｉｅｃｔ ｄｅｔｅｃｔｉｏｎ，ｓｃｅｎｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ［ｃ］∥ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．２Ｏ １ ２：７０２—７０９． 在实验中，条件随机场模型的 和ｃ分别设置为１０和 一［４］ＲＥＮ Ｘ，１３０ Ｌ，ＦＯＸ ｎ ＲＧＢ－（Ｄ）ｓｃｅｎｅ ｌａｂｅｌｉｇ：ｎＦｅａｔｕｒｅｓ ａｎｄ ａｌｇｏｒｉｔｈｍｓ［ｃ］∥ＩＥＥＥ ｏｎｆＣｅｒｅｎｃｅ ｏｎ ｏｍｐｕｔＣｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔ— ｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．２０１２：２７５９—２７６６． １．３，ｔｈｒ３设置为０．３。图５所永为本方法的部分实验结 果，左图为输入测试图像，右图为图割算法迭代１０００次后的 对象分割结果。图５中，以不同的灰度标识不同的对象，以此 类推。可以看到，在多个同类别对象出现并存在遮挡的情况 下，或者对于不同分辨尺度的对象，本方法都能较好地进行识 别和分割。 ［５］ＬＩＵ Ｃ，ＹＵＥＮ Ｊ，ＴＯＲＲＡＩ ＢＡ Ａ．Ｎｏｎｐａｒａｍｅｔｒｉｅ ｓｃｅｎｅ ｐａｒｓｉｎｇ： Ｉ．ａｂｅｌ ｔｒａｎｓｆｅｒ ｖｉａ ｄｅｎｓｅ ｓｃｅｎｅ ａｌｉｇｎｍｅｎｔ［ｃ］∥ＩＥＥＥ ｏｎｆＣｅｒｅｎｃｅ ｏｎ ｏｍｐｕｔｅｒ ＣＶｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．ＩＥＥＥ，２００９：１９７２一 ｌ９７９． ［６］ ＺＨＡＮＧ Ｈ，ＸＩＡ０ Ｊ，ＱＵＡＮ Ｉ ．Ｓｕｐｅｒｖｉｓｅｄ ｌａｂｅｌ ｔｒａｎｓｆｅｒ ｆｏｒ ｓｅ－ ｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｓｔｒｅｅｔ ｓｃｅｎｅｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｅｕｒｏ－ ｐｅａｎ ｃｏｎｆｅｒｅｎｅｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．２０１０：５６１—５７４． ［７］ＴＩＧＨＥ Ｊ，Ｉ．ＡＺＥＢＮＩＫ Ｓ．Ｓｕｐｅｒｐａｒｓｉｎｇ：Ｓｃａｌａｂｌｅ ｎｏｎｐａｒａｍｅｔｒｉｃ ｉｍａｇｅ ｐａｒｓｉｇ ｗｉｎｔｈ ｓｕｐｅｒｐｉｘｅｌｓ Ｅｃ］｝ Ｐｒｏｃｅｅｄｉｇｓ ｏｆｎ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｏｍｐｕｔｅｒＣ Ｖｉｓｉｏｎ．２０１０：３５２—３６５． ［８３ ＣＨＥＮ Ｘ，ＬＩ Ｑ，ＳＯＮＧ Ｙ，ｅｔ ａ１．Ｓｕｐｅｒｖｉｓｄ ｅｇｅｏｄｅｓｉｃ ｐｒｏｐａｇａｔｉｏｎ ｆｏｒ ｓｅａｎｔｍｉｃ ｌａｂｅｌ ｔｒａｎｓｆｅｒ［Ｃ］ｆ？Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｅｕｒｏｐｅａｎ ｃｏｎ— ｆｅｒｅｎｅｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．２０１２：５５３—５６５． －１９］ ＺＨＡＮＧ Ｈ，ＦＡＮＧ Ｔ，ＣＨＥＮ Ｘ，ｅｔ ａ１．Ｐａｒｔｉａｌ ｓｉｍｉｌａｒｉｔｙ ｂａｓｅｄ ｎｏｎｐａｒａｍｅｔｒｉｃ ｓｃｅｎｅ ｐａｒｓｉｎｇ ｉｎ ｃｅｒｔａｉｎ ｅｎｖｉｒｏｎｍｅｎｔ［Ｃ］∥ＩＥＥＥ ｏｎｆＣｅｒｅｎｃｅ ｏｎ ｏｍｐｕｔｅｒ ＣＶｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．２０１ １： ２２４卜２２４８． ［１Ｏ］ＰＲＩＣＥ Ｂ Ｉ ，ＭＯＲＳＥ Ｂ Ｓ，ＣＯＨＥＮ Ｓ Ｇｅｏｄｅｓｉｃ ｇｒａｐｈ ｃｕｔ ｆｏｒ ｉｎ－ ｔｅｒａｃｔｉｖｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］∥ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍ— ｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．２０１０：３１６ｌ一３１６８． ［１１］ＷＵ Ｊ，ＺＨＡ０ Ｙ，ＺＨＵ Ｊ，ｅｔ ａ１．Ｍｉｌｃｕｔ：Ａ ｓｗｅｅｐｉｇ ｌｎｉｎｅ ｍｕｌｔｉｐｌｅ ｉｎｓｔａｎｃｅ ｌａｒｎｉｅｎｇ ｐａｒａｄｉｇｍ ｆｏｒ ｉｎｔｅｒａｃｔｉｖｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ 注：以“马”这种类别为例，不同的灰度表不不同的“马”对象，其他 ［Ｃ］∥ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇ－ ｎｉｔｉｏｎ．２Ｏ１４：２５６－２６３． 语义类别作为背景．没有照示。 图５实验结果图 ［１２］ＲＯＴＨＥＲ Ｃ，ＭＩＮＫＡ Ｔ Ｐ，ＢＬＡＫＥ Ａ，ａｔ ａ１．Ｃｏｓｅｍｅｇｎｔａｔｉｏｎ ｏｆ ｉａｇｅ ｐｍａｉｒｓ ｂｙ ｈｉｓｔｏｇｒａｍ ｍａｔｃｈｉｇ－ｉｎｎｃｏｒｐｏｒａｔｉｎｇ ａ ｇｌｏｂａｌ ｃｏｎ— 本文实验所用的计算机性能配置：Ｉｎｔｅｌ ｉ５ ３．２ＧＨｚ ＣＰＵ； ４ＧＢ内存；６４位Ｗｉｎｄｏｗｓ７操作系统；软件开发平台的主程 ｓｔｒａｉｎｔ ｉｎｔｏ ｔｕｒｆｓ Ｅｃ］｝｝ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．２００６：９９３—１０００． 序为Ｍａｔｌａｂ２０１０ｂ，调用ＴｅｘｔｏｎＩｘ￣ｏｓｔｌ 算法的程序Ｖｉ１ｓｕａｌ ［１３］ＶＩＣＥＮＴＥ Ｓ，ＫＯＩ Ｍ（￣Ａ）ＲＯＶ Ｖ，ＲＯＴＨＥＲ Ｃ．Ｃｏｓｅｇｍｅｎｔａ－ ｔｉｏｎ ｒｅｖｉｓｉｔｅｄ Ｍｏｄｅｌｓ ａｎｄ ｏｐｔｉｍｉｚａｔｉｏｎ Ｅｃ］ｆ｝１ｌｔｈ Ｅｕｒｏｐｅａｎ ｏｎｆＣｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．２０１０：４６５—４７９． Ｓｔｕｄｉｏ２００８。Ｐｏｌｏ数据集图像分辨率约为５００＊３５０像素，本 方法在语义识别和对象分割过程中平均一张图像的处理时间 约为２４ｓ。 ［－１４￣ＶＩＣＥＮＴＥ Ｓ，ＲＯＴＨＥＲ Ｃ，ＫＯＬＭＣ￣ＯＲＯＶ Ｏｂｊｅｃｔ ｃｏｓｅｇ－ 结束语本文提出ｒ一种基于目标识别与显著性检测的 ｍｅｎｔａｔｉｏｎ［ｃ］∥ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｏｍｐｕｔｅｒ ＶｉＣｓｉｏｎ ａｎｄ Ｐａｔ－ ｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．２０１ １：２２１７—２２２４． 图像场景多对象分割方法，该方法将语义识别和对象分割集 成一体，同时实现了语义标记和同类别多对象的分割。未来 工作中，将会加大对象形状特征的约束作用，提高语义标记和 对象分割的准确率。 ［－１５￣ＢＡＴＲＡ Ｄ，ＫＯＷＤＩ Ｅ Ａ，ＰＡＲＩＫＨ Ｄ，ｅｔ ａ１．Ｉｎｔｅｒａｃｔｉｖｅｌｙ ｃｏ－ ｓｅｇｍｅｎｔａｔｉｎｇ ｔｏｐｉｃａｌｌｙ ｒｅｌａｔｅｄ ｉｍａｇｅｓ ｗｉｔｈ ｉｎｔｅｌｌｉｇｅｎｔ ｓｃｒｉｂｂｌｅ ｇｕｉｄａｎｃｅ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２０１ Ｉ， ９３（３）：２７３—２９２． 参考文献 －１１３ ＳＨ０ＴＴＯＮ Ｊ，Ｗ１ＮＮ Ｊ Ｍ，ＲａＴＨＥＲ ｃ，ｅｔ ａ１．Ｔｅｘｔｏｎｂｏｏｓｔ ｆｏｒ ｉｍａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ：Ｍｕｌｔｉ—ｃｌａｓｓ ｏｂｉｅｅｔ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｓｅｇｍｅｎ－ ［１６］ＢＡＩ Ｘ，ｗＡＮＧ Ｊ，ＳＡＰＩＲ０ Ｇ．Ｄｙｎａｍｉｃ Ｃｏｌｏｒ Ｆｌｏｗ：Ａ Ｍｏｔｉｏｎ－ Ａｄａｐｔｉｖｅ ｏｌＣｏｒ Ｍｏｄｅｌ ｆｏｒ Ｏｂｊｅｃｔ Ｓｅｇｍｅｎｔａｔｉｏｎ ｉｎ Ｖｉｄｅｏ［Ｃ］Ｉ Ｐｒｏｃｅｅｄｉｇｓ ｏｆ ｎＥｕｒｏｐｅａｎ ｏｎｆＣｅｒｅｎｅｅ ｏｎ ｏｍｐｕｔｅｒ ＣＶｉｓｉｏｎ．２０１０： ６１７—６３０． ｔａｔｉｏｎ ｂｙ ｊｏｉｎｔｌｙ ｍｏｄｅｌｉｎｇ ｔｅｘｔｕｒｅ，ｌａｙｏｕｔ，ａｎｄ ｃｏｎｔｅｘｔ［Ｊ］．Ｉｎｔｅｒ— ｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００９，８１（１）：２－２３． ［１７］ＢＡＩ Ｘ，ＷＡＮＧ Ｊ，ＳＡＰＩＲＯ Ｇ．Ｔｏｗａｒｄｓ ｔｍｐｅｏｒａｌｌｙ－ｃｏｈｅｒｅｎｔ ｉｖｄｅｏ ｍａｔｔｉｇ［Ｃ］ｆｎ，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ／ Ｇｒａｐｈｉｃｓ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ．Ｍｉｒａｇｅ ２Ｏｌ１：６３—７４． －１２］ ＸＩＡＯ Ｊ，ＱＵＡＮ Ｉ Ｍｕｌｔｉｐｌｅ ｖｉｅｗ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ ｓｔｒｅｅｔ ｖｉｅｗ ｉｍａｇｅｓ［ｃ］∥Ｔｈｅ １２ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｏｍｐｕｔｅｒ ＣＶｉｓｉｏｎ．２００９：６８６—６９３． 第５期 李青，等：基于目标识别与显著性检测的图像场景多对象分割 ３１３ （上接第２９８页） Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ［－Ｃ］／／ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ＆Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．２００５：８８６—８９３． 在得到初步检测结果之后，利用基于区域窗口的鬼影消除提 高了算法的准确率。实验表明，与传统ＰＢＡＳ算法相比，改进 算法具有更好的检测效果，并具有良好的鲁棒性，适用于检测 前景的实时监控系统。 下一步工作将围绕通过减少参数和设计区域背景复杂度 以获得更好的检测结果展开。 Ｅ８３ ＬＩＵ Ｘ，ＬＩＵ Ｈ，ＱＩＡＮＧ Ｚ Ｐ，ｅｔ ａ１．Ａｄａｐｔｉｖｅ Ｂａｃｋｇｒｏｕｎｄ Ｍｏｄｅ－ ｌｉｇ Ｂｎａｓｅｄ ｏｎ Ｍｉｘｔｕｒｅ Ｇａｕｓｓｉａｎ Ｍｏｄｅｌ口］．Ｊｏｕｒｎａｌ ｏｆ Ｉｍａｇｅ ａｎｄ Ｇｒａｐｈｉｃｓ，２００８，１３（４）：７２９—７３４．（ｉｎ Ｃｈｉｎｅｓｅ） 刘鑫，刘辉，强振平，等．混合高斯模型和帧间差分相融合的自适 应背景模型［Ｊ］．中国图象图形学报，２００８，１３（４）：７２９—７３４． ［９］ＦＡＮ Ｗ Ｃ，ＬＩ Ｘ Ｙ，ＷＥＩ Ｋ，ｅｔ ａ１．Ｍｏｖｉｇ ｎＴａｒｇｅｔ Ｄｅｔｅｃｔｉｏｎ Ｂａｓｅｄ Ｏｎ Ｉｍｐｒｏｖｅｄ Ｇａｕｓｓｉｏｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ ＥＪ］．Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， ２０１５，４２（５）：２８６—２８８，３１９．（ｉｎ Ｃｈｉｎｅｓｅ） 参考文献 Ｅｌｉ ｓｐｆｆｆ 上 ， （ 二４ＮＴ Ａ Ａ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｒｅｖｉｅｗ ｏｆ ｂａｃｋ－ ｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｅｖａｌｕａｔｅｄ ｗｉｔｈ ｓｙｎｔｈｅｔｉｃ ａｎｄ ｒｅａｌ 范文超，李晓宇，魏凯，等．基于改进的高斯混合模型的运动目标 检￣ｌｔＥＪ］．计算机科学，２０１５，４２（５）：２８６—２８８，３１９． ｒ１Ｏ］ＩＬｔＹＡＳ Ａ，ＳＣＵＴＵＲＩＣＩ Ｍ，ＭＩＧＵＥＴ Ｓ Ｒｅａｌ Ｔｉｍｅ Ｆｏｒｅｇｒｏｕｎｄ－ ａｃｋｇｒＢｏｕｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｇ ａ Ｍｏｄｉｎｆｉｅｄ Ｃｏｄｅｂｏｏｋ Ｍｏｄｅｌ ｖｉｄｅｏｓＦＪ］．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ＆Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ，２０１４，１２２ （５）：４—２１． Ｅ２］ＹＥ Ｆ Ｆ，Ｘｕ Ｉ Ｒｅａｌ—ｔｉｍｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ ｏｆ ｓｔａｔｉｃ ｏｂｊｅｃｔｓ ａｎｄ ｇｈｏｓｔｓｆＪ３．Ｊｏｕｒｎａｌ ｏｆ Ｚｈｅｊｉａｎｇ Ｕｎｉｖｅｒｓｉｔｙ（Ｅｎｇｉｎｅｅ－ ｒｉｇ Ｓｃｉｎｅｎｃｅ），２０１５，４９（１）：１８１—１８５．（ｉｎ Ｃｈｉｎｅｓｅ） ［Ｃ］∥Ｐｒｏｃｅｅｄｉｇｓｎ ｏｆ ｔｈｅ ２００９ Ｓｉｘｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆ－ｅ ｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ａｎｄ Ｓｉｇｎａｌ Ｂａｓｅｄ Ｓｕｒｖｅｉｌｌａｎｃｅ．ＩＥＥＥ ｏｍｐｕｔｅｒ ＳＣｏｃｉｅｔｙ，２００９：４５４—４５９． 叶芳芳，许力．实时的静止目标与鬼影检测及判别方法ＥＪ］．浙江 大学学报（工学版），２０１５，４９（１）：１８１—１８５． ［１１３ ＨＯＦＭＡＮＮ Ｍ，ＴＩＥＦＥＮＢＡｃＨＥＲ Ｐ，ＲＩＧＯＬＬ Ｇ．Ｂａｃｋｇｒ０ｕｒ１ｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｗｉｔｈ ｆｅｅｄｂａｃｋ：Ｔｈｅ Ｐｉｘｅｌ－Ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｓｅｇｍｅｎ－ ［３］ｗｕ Ｄ Ｐ，ＣＨＥＮＧ Ｗ Ｐ，ＹＵ Ｓ Ｌ．Ｃａｍｓｈｉｆｔ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ Ａ１一 ｇｏｒｉｔｈｍ Ｂａｓｅｄ ｏｎ ｉｎｔｅｒ－ｆｒａｍｅ Ｄｉｆｆｅｒｅｎｃｅ ａｎｄ Ｍｏｔｉｏｎ Ｐｒｅｄｉｃｔｉｏｎ ｔｅｒ［ｃ］／／ＩＥＥＥ Ｃｏｍｐｕｔｅｒ ｏｃＳｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉ— ｓｉｏｎ＆Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ．ＩＥＥＥ，２０１２：３８—４３． ＥＪ］．Ｏｐｔｏ－Ｅｌｅｅｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｇ，２０１０，３７（１）：５５—６０．（ｉｎｎ Ｃｈｉ— ｎｅｓｅ） ［１２］ＷＡＮＧ Ｈ，ＳＵＴＥＲ ｎ Ｂａｃｌ￣ｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ Ｂａｓｅｄ ｏｎ ａ Ｒｏ— ｂｕｓｔ ｏｎｓＣｅｎｓｕｓ ＭｅｔｈｏｄｉＣ］／／Ｉｎｔｅｒｎａｔｉｏｎａｌ ｏｎｆＣｅｒｅｎｃｅ ｏｎ Ｐａｔ— ｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．２００６：２２３—２２６． 邬大鹏，程卫平，于盛林．基于帧间差分和运动估计的Ｃａｍｓｈｉｆｔ 目标跟踪算法口］．光电工程，２０１０，３７（１）：５５—６０． Ｅ４３ ＢＡＲＮＩＣＨ Ｏ．ＶＡＮ ＤＲ０ＯＧＥＮＢＲＯＤ０Ｋ Ｍ ＶｉＢｅ：ａ ｕｎｉｖｅｒｓａｌ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓＦＪ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｇ Ａ Ｐｕｂｌｎｉｃａｔｉｏｎ ｏｆ ｔｈｅ ＩＥＥＥ Ｅｌ３］ＢＡＲＮＩＣＨ Ｏ，ＶＡＮ ＤＲ￣ＥＮＢＲＯＥＫ Ｍ．Ｖｉｂｅ：Ａ ｕｎｉｖｅｒｓａｌ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ａｌｇｏｒｉｔｍ ｈｆｏｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｇ，２０１１，２０（６）：１７０９—１７２４．ｎ ｒ１４］ＬＩ Ｐ，ＷＵ Ｘ Ｈ，ＨＥ Ｘ Ｈ，ｅｔ ａ１．Ａｎ Ｉｍｐｒｏｖｅｄ ＰＢＡＳ Ｆｏｒ Ｍｏｖｉｇ ｎＳｉｇｎａｌ Ｐｒｏｃｅｓｓｉｇ Ｓｏｃｉｎｅｔｙ，２０１１，２０（６）：１７０９—１７２４． Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ［Ｊ］．Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｅｉｇｉｎｅｅ－ｒｉｇ，ｎ ２０１５，１５（２７）：４８—５３．（ｉｎ Ｃｈｉｎｅｓｅ） ｆ５３ ＣＲＩＳＴＡＮＩ Ｍ。ＭＵＲＩＮＯ Ｂａｅｌ￣ｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ ｗｉｔｈ Ａ－ ｄａｐｔｉｖｅ Ｓｐａｔｉｃ￣Ｔｅｍｐｏｒａｌ Ｎｅｉｇｈｂｏｒｈｏｏｄ Ａｎａｌｙｓｉｓ［－Ｃ］／／Ｔｈｅ ３ｒｄ Ｉｎｔｅｍａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｔｈｅｏｒｙ ａｎｄ Ａｐｐｌｉ— ｃａｔｉｏｎｓ．２００８：４８４－４８９． 李棚，吴晓红，何小海，等．一种改进的ＰＢＡＳ运动目标检测算法 口］．科学技术与工程，２０１５，１５（２７）：４８—５３． Ｅｌ５］ＫＲＹ］ＡＫ Ｔ，ＫＯＭＯＲＫＩＥＷＩＣＺ Ｍ，ＧＯＲＧＯＮ Ｍ．Ｒｅａｌ－ｔｉｍｅ Ｆｏｒｅｇｒｏｕｎｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｃｏｍｂｉｎｉｇ ｔｈｅ ＰＢＡＳ Ｂｎａｃｋｇｒｏｕｎｄ Ｍｏｄｅｌｌｉｎｇ Ａｌｇｏｒｉｔｈｍ ａｎｄ Ｆｅｅｄｂａｃｋ ｆｒｏｍ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ Ｍｏ－ ［６］ ＷＥＩ Ｇ Ｊ，ＨＯＵ ｚ Ｑ，ＬＩ Ｗ，ｅｔ ａ１．Ｏｂｊｅｃｅｔ ｔｒａｃｋｉｇ ａｎｌｇｏｒｉｔｍ ｈｆｕｓｅｄ ｉｔｗｈ ｏｐｔｉｃａｌ ｌｆｏｗ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ［Ｊ］．Ａｐ— ｐｌｉｃａｔｉｏｎＲｅａｓｅａｒｃｈ ｏｆ Ｃｏｍｐｕｔｅｒ，２０１４，３１（１１）：３４９８—３５０１（ｉｎ Ｃｈｉｎｅｓｅ） ｄｕｌｅ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃｓ＆Ｔｅｌｅｃｏｍｍｕｎｉｃａ— ｔｉｏｎｓ，２０１４，６０（１）：５３—６４． 魏国剑，侯志强，李武，等．融合光流检测与模板匹配的目标跟踪 ［１６］ＷＡＮＧ Ｈ，ＳＵＴＥＲ ｎ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ Ｂａｓｅｄ ｏｎ ａ Ｒｏ— 算法ＥＪ］．计算机应用研究，２０１４，３１（１１）：３４９８—３５０１ ［７］ＤＡＬＡＬ Ｎ，ＴＲＩＧＧＳ Ｒ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ ｂｕｓｔ Ｃｏｎｓｅｎｓｕｓ Ｍｅｔｈｏｄ［Ｃ］／／Ｉｎｔｅｒｎａｔｉｏａｌｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔ— ｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，２００６：２２３—２２６．
