第25卷 第3期 Vo1.25 No.3 电子设计工程 ElectronicDesign Engineering 2017年2月 Feb.2017 图像数据库的增量压缩编码方法 李振林 (中国科学院上海微系统与信息技术研究所上海200050) 摘要:图像数据库会经常性增加图像,而传统上对增量图像进行压缩的方法是只利用图像内部冗余 或增量图像之间冗余对其进行压缩,这往往忽略了增量图像和图像数据库已有图像的冗余性,压缩 效率往往不高。针对这个问题,本文提出了充分利用图像数据库已有图像和增量图像的相似性和冗 余性的压缩方法,称之为增量压缩方法。增量压缩方法中,首先对增量图像进行分类。接着,在类内搜 索视觉最相似图像作为参考图像。然后,利用参考图像和增量图像的冗余性和相似性对增量图像进 行压缩编码。实验结果表明,增量压缩编码方法相比传统压缩编码方法,压缩效率会有明显提升。 关键词:增量图像;压缩;图像数据库;分类 中图分类号:TN911.73 文献标识码:A 文章编号:1674—6236(2017)03—0190—04 A incremental compression coding method for image database LI Zhen—lin (Shanghai Institute ofMicrosystem nd Inaformation Technology,Shanghai 200050,China) Abstract:People will often increase the image into Image database,but in tradition it is directly compressed to the incremental image,which ignores the redundancy and similarity between images.The general compression way is not satisfied.Faced with the question,this paper proposed a method called incremental image compressing method,which is to make the best of the redundancy and similarity between image database and incrementl iamage.In the method,firstly classify the incremental image, then seek the most similar image in the class as the reference image,and encode the incrementl iamage using the redundancy and similarity.Simulations test shows the compression results are obviously improved,SO the proposed method is superior to traditional compression methods. Key words:increment image;compression;image database;classify 随着科技的发展。数码相机和智能手机得到极 内冗余信息对图像进行压缩。这种仅利用图像帧内 大普及,人们可以随时随地的获取大量的高质量图 空间冗余信息的方法,没有充分利用帧间冗余,压缩 像。云存储以及互联网的普及让图像的获取更为方 效果不能满足“数据爆炸”时代的需要。为了利用帧 便。面对大量的图像数据,存储传输往往成为一个难 间冗余,利用图论生成伪视频序列的压缩编码方法 4- ol,但这种方法在面对图像数据库增量图像 题。截止2016年2月,在计算机视觉领域比较常用 被提出[数据库的规模都在逐渐增大,比如,AWA包含有5O 的时候,增量图像之间往往很少有或者没有帧间冗 类3万张图像田,ImageNet包含有2万多类1 400多万 余信息,导致伪视频序列压缩方法在图像数据库增 张图像翻,Place2包含有400多个场景类1 000多万张 量图像压缩时效果相比传统的压缩编码方法提升有 图像[31。面对大型图像数据库存储的难题,尤其是经常 限 为了克服伪视频序列压缩编码方法和传统压缩 更新的数据库,传统的压缩编码方法已经不能满足 编码方法的缺点,文中提出了,先从图像数据库中找 现实的需要,更有效的图像压缩编码方法迫在眉腱。 到和增量图像视觉最相似的图像,把找到的图像作 充分利用帧间冗余信息,使压缩效果达到最优。这篇 收稿日期:2016—03—17 稿件编号:201603217 传统的帧内预测压缩方法仅仅利用增量图像帧 为参考图像,来对增量图像进行压缩编码,这样可以 作者简介:李 ̄—.(1986--),男,河南林州人,硕士研究生。研究方向:计算机视觉、机器学习。 190—. 李振林 图像数据库的增量压缩编码方法 文章的主要贡献有:提出了面向图像数据库的增量 图像的有效压缩编码方法、利用分类思想在数据库已 有图像中寻找最相似图像作为压缩参考图像。本篇文 章剩余部分被组织如下。第一部分,介绍相关工作。第 二部分.介绍提 的方法。第三部分,介绍实验设置 (al Rs专洼鞭翘照十勾 和分析实验结果。第四部分,对这篇文章进行总结。 (b)伪视频序列预测结构 }.『 1 相关工作 对增量图像进行压缩的第一种方法是HEVC帧 内压缩编码(HEVC intra coding method)。这种方法 (c1文中提出的于曩删框架 仅仅利用单幅图像帧内冗余性对单张图像进行压 缩,但没能够利用图像帧间的冗余进行压缩。 增量冈像压缩的第二种方法是基于RS (Representative Signa1)方法,也称之为星状拓扑结构 压缩。这种方法首先产生RS,对RS和每幅增量图像 与RS的差异进行压缩。代表性的方法有MMDl】 I MMpt I.Centroid Methodl”I和Template MethodI Z41等。 图1 图像压缩编码预测结构 2 方 法 文中提出的方法主要目的就是充分利用已有图 像数据库和增量图像的冗余性,来有效地压缩增量 图像(我们把向已有图像数据库中增加的一部分图 像称为增量图像)。在这一节,我们描述怎样通过分 类,类内搜索来从罔像数据库中寻找与增量罔像视 觉最相似图像。利用视觉最相似罔像作为参考图像 来对增量图像进行压缩。文中提出方法的框架如图 2所示.黑色圆圈代表增量图像,黑色圆点代表已有 图像数据库的图像,一个椭圆内的黑点代表图像数 据库内的一类图像。灰色圆点代表从已有图像数据 库中通过分类、类内搜索提到的视觉最相似图像,在 这些方法虽然也利用了图像之问的冗余性,但还有 二个缺点。第一,因为要产生RS,对增量图像的相关 性要求很高,比较适用于遥感罔像和医学图像。第 二,这种星状拓扑结构.把RS同定作为参考图像,在 图像压缩时,对帧问的冗余信息利用还不够充分。 增量图像的第 种压缩方法是伪视频序列压缩 方法.也称基于罔论的方法。比较有代表性的方法 有【4-lol。在这些方法中,首先建立一棵最小生成树,让 编码的时候利用视觉最相似图像和增量图像的冗余 性进行帧问预测压缩编码。文中方法的好处是每幅 增量冈像都会已有条件下,最快找到与其有最大冗 余性的图像作为参考图像. 假设在本地已经有一个大量图像的数据库,在 所有边的权值之和最小。其中,树中每一条的权值代 表用父结点作为参考冈像.对子结点编码的代价。然 后,对最小生成树进行遍历,生成一个伪视频序列。 对第一幅图像进行帧内预测编码,剩余图像进行帧 问预测编码,称这为IPPPP模式。但这种方法对图像 数据庠的增量图像编码有以下缺点。第一,增量图像 中,可能图像之间相关性很差,这样就无法利 }丰j帧问 冗余信息。第二,这种方法没有充分利用图像数据库 已有的图像信息。 这个数据库又根据图像的视觉相似性把图像分类。 图像数据库要不断维护和扩充.面对这样一个问题。 如何对新增加图像有效压缩。幸运的是,利用已有的 图像数据库和增量图像的关系.充分利用搜索到的视 觉最相似图像和增量图像的冗余,把增量图像看作 视频编码压缩中的P帧对增量图像进行压缩编码。 2.1分 类 文中提H{了图像数据库的增量压缩编码方法。 这种方法充分利用已有图像数据库和增量冈像的帧 间冗余信息。对于每一幅增量图像,首先对其分类, 最快找到视觉最相似图像所在类别.在类内通过搜 已有图像数据库规模可能非常大,为了得到视 觉最相似图像,如果直接在图像数据库搜索,将会代 索找与其视觉最相似图像,这样找到的视觉最相似 价极高。所以,文中提出方法首先对增量图像进行分 图像与增量图像有最大冗余性。用这幅视觉最相似 类,然后在类内进行搜索,这样将会极大提高搜索视 的图像作为参考图像对增量图像进行帧间预测压 缩编码。在罔l中,展示了其中一些方法的压缩编码 结构 觉最相似图像的效率。一个关键的问题是如何为每 幅增量图像正确分类。常用的分类方法有SVM (Support Vector Machine)、KNN(k-NearestNeighbol‘) 一191— 《电子设计工程12017年第03期 幅之间,把所有图像缩放为256*256。从每类中挑选 l、 } 、....../ 一幅图像作为(即共l1幅图像)增量图像,剩余的图 围 、 ......0 。 L-— O 像作为已有图像数据库。在增量图像中,实验用重新 训练的SVM分类器对每幅图像进行分类。分类后。 在对应的类内用SPM旧(字典大小为40,图像分为3 层)对所有图像提取特征,用欧氏距离来计算增量图 像和类内每幅图像的距离,距离最近的图像来作为 参考图像,然后,对增量图像进行编码。HEVC帧内 o一/ 图像 已有图像数据厍 图像 图2增量压力编码方法的流程图 和深度学习等。在本方法中,我们优先采用图像数据 预测编码实验根据随机顺序把所有增量图像进行压 库已有的分类模型对增量图像进行分类,这样会极 大提高分类效率。对没有已经训练好的分类模型,我 们对图像数据库重新训练分类模型。虽然,重新分类 训练模型比较耗时,但训练好一个分类模型后,对接 下来的增量图像都继续有效,相比每次直接从图像 库中所有类中搜索视觉最相似图像效率也高。比如, 对ImageNe数据库阁中的图像,我们可以采用已有模 型AlexNett 5J对增量图像进行分类。对Place2数据库 ∞ \ z 分类可以采用已有模型【垌。 7 " 2 铊 1” , 2.2类内搜索最相似图像 ’ 分类后,为了在类内得到视觉最相似图像,应该 找到一个有效的图像距离来度量视觉相似性。在本 文中.为了提高搜索速度,我们直接用欧氏距离来度 量图像相似性。首先,用SPMt 7】对图像数据库和增量 图像提取特征,计算每幅增量图像和图像数据库中 与其对应的类内所有图像的距离,然后对所有距离 进行排序,与增量图像距离最近的图像,即视觉最相 似图像,作为参考图像I帧。 2.3压缩 对于一幅增量图像,本方法利用视频编码标准 HEVC和利用2.2节获得的参考图像。把增量图像当 作P帧进行帧间预测编码。这样,增量图像中每幅图 像都会在已有图像数据库中找到与其对应的视觉最 相似图像,建立一一对应关系,避免了把增量图像和 已有图像数据库分隔起来,单独考虑。 3实验结果在这一节.对文中提出的图像数据库增量图像 压缩编码方法和基于HEVC帧内预测压缩编码方法 进行对比。所有实验基于HEVC平台,QPs (quantization parameters)设为22,27,32,37。关于 HEVC,请参考[18J。从11个视频中抽取图片,根据视 觉相似性分为了11个类,每个类的图像在23到43 -192- 缩编码。 518.2 101 g.2 l 5l8.2 201 8.2 251 .2 Bit Rate/kbps 图3 图像数据库增量图像压缩的率失真曲线 实验结果如图3所示。图3展示了文中提出的 方法和对HEVC帧内预测编码的方法对图像数据库 增量图像压缩编码的率失真曲线,对比HEVC帧内 预测编码方法。文中提出的方法压缩效果显著地提 高。表1展示了文中的方法和HEVC帧内编码方法 的在QP为22的情况下的平均PSNAR和平均比特 率.结果证明了文中提出的方法比HEVC帧内编码 方法节省了66.08%的比特率。这些结果表明了,文 中提出的方法能够更充分的利用增量图像和已有图 像数据库的冗余,为每幅增量图像提供了更好的参 考图像,压缩编码效果更优。 表1我们方法和I{口 C帧内预测方法比较 4结论 文中针对已有增量图像压缩编码方法把图像数 据库和增量图像考虑的缺点。提出了图像数据 库增量压缩编码方法。这种方法利用图像数据库和 增量图像的特点。通过分类、类内搜索,在已有图像 数据库内搜索与每幅增量视觉最相似的图像作为参 考图像,然后。基于HEVC帧间预测方法对增量图像 2 李振林 图像数据库的增量压缩编码方法 进行压缩编码。实验表明,由于充分利用了图像数据 3D medical image sets[J】.Information Sciences, 库和增量图像的冗余性,增量压缩编码方法 ̄LHEVC 2005,175(3):217-243. 帧内预测压缩编码方法具有更好的压缩效果。 [1O]Zou R,Au 0 C,Zhou G,et a1.Personal photo 参考文献: labum compression and management[C]//Circuits [1]Lampert C H,Nickisch H,Harmeling S.Learning and Systems(ISCAS),2013 IEEE International to detect unseen object classes by between—class Symposium on.IEEE,2013:1428-1431. attribute transfer[C]//Computer Vision and Pattern [1 1]Karadimitriou K,Ty ler J M.The min—max Recognition,2009.CVPR 2009.IEEE Conference differential method for large-scale storage and on.IEEE.2009:951—958. compression of medical images【C]//Proceedings of 【2]Deng J,Berg A,Satheesh S,eta1.ImageNet of Annual Molecular Biology and Biotechnology Large Scale Visual Recognition Competition2012 Conference,Baton Rouge,La,USA.1996. (ILSVRC2012).http://www.image—net.org/challenges [12]Karadimitirou K,Tyler J M.Min—max compression /LSVRC/2012/ methods for medical image databases[J].ACM 【3】Zhou B,Khosla A,Lapedriza A,et1a.Places2:A SIGMOD Record,1997,26(1):47-52. Large—Scale Database for Scene Understanding[J】. 【13]Karadimitriou K,Tyler J M.The centroid method Arxiv,2015. ofr compressing sets of similar images[J].Pattern [4]Shi Z,Sun X,Wu F.Photo album compression for Recognition Letters,1998,19(7):585-593. cloud storage using local features[J].Emerging and [14]Wang J,Yan H.Form image compression using Selected Topics in Circuits and Systems,IEEE template extraction and matching[J].Proceedings Joumal on,2014,4(1):17—28. of Visual Information Processing,2000. [5]Chen C P,Chen C S,Chung K L,et a1.Image [1 5]Krizhevsky A,Sutskever I,Hinton G E.Imagenet set compression through minimal—cost prediction classification with deep convolutional neural net— structures[C]//ICIP.2004:1289-1292. works【C]//Advances in neural ifnormation proces— [6】Nielsen C,Li X.MST for lossy compression of sing systems.2012:1097-1 105. image sets[C】//Data Compression Conference, [16]Shen L,Lin Z,Huang Q.Learning deep convo— 2006.DCC 2006.Proceedings.IEEE,2006:1 pp. lutional neurla networks for places2 scene recog— 一463. nition[J].arXiv preprint arXiv:1512.05830,2015. 【7】Shi Z,Sun X,Wu F.Feature-based image set [17]Lazebnik S,Schmid C,Ponce J.Beyond bags of compression[C]//Multimedia and Expo(ICME), features:Spatial pyramid matching for recognizing 20 1 3 IEEE International Conference on.IEEE, natural scene categories[C]/Computer Vision and 2013:1-6. Pattern Recognition,2006 IEEE Computer Society 【8】Shi Z,Sun X,Wu F.Multi—model prediction for Conference on.IEEE,2006,2:2169-2178. image set compression【C]//Visual Communica- 【18]Sullivan G J,Ohm J R,Han W J,et a1. tions and Image Processing(VCIP),2013.IEEE, Overview of the high efifciency video coding 2013:1-6. (HEVC)standard[J].Circuits and Systems for 【9】Qi x,Tyrler J M.A progressive transmission cap— Video Technology,IEEE Transactions on,2012, able diagnostically lossless compression scheme for 22(12):1649—1668. —.193-