基于先验信息的全变分图像复原算法

系杳大

学学板（自然科学版）

JOURNAL OF SOUTHEAST UNIVERSITY (Natural Science Edition)

Vol.46 No.6

Nov. 2016

DOI：10. 3969/j. issn. 1001 -0505.2016. 06.004

基于先验信息的全变分图像复原算法

张俊峰罗立民舒华忠伍家松

(东南大学计算机科学与工程学院，南京210096)

(东南大学计算机网络和信息集成教育部重点实验室，南京2111)

(东南大学中法生物医学信息研究中心，南京210096)

摘要：为了提高全变分模型的图像复原效果，提出一种基于先验信息的全变分图像复原算法.首 先，采用能够有效保护滤波后图像结构信息的非局部均值算法对模糊退化图像进行滤波以减少 其中所含噪声，获取滤波后的先验图像信息.然后，构建基于该先验信息的全变分图像复原模型， 该模型不仅保留了全变分模型对复原图像边界信息的保护优势，也保留了非局部均值的结构信

息保护优势.最后，采用Bregman交替方向乘子迭代算法对所提模型进行优化，得到复原后 的图像.实验结果表明，无论从主观视觉效果方面，还是从峰值信噪比与结构相似性客观量化指 标方面对所复原图像进行评价，与其他算法相比，所提算法均能取得较好的复原效果.关键词：图像复原；先验信息；全变分；非局部均值；Bregman中图分类号：TP391

文献标志码：A

文章编号：1001 -0505(2016)06-1132-05

Total variation image restoration algorithm

based on prior information

Zhang Junfeng Luo Limin Shu Huazhong Wu Jiasong

(School of Computer Science and Engineering, Southeast University, Nanjing 210096, China)

(Key Laboratory of Computer Network and Information Integration of Ministry of Education, Southeast University, Nanjing 2111, China)

(Centre de Recherche en Information Biomedicale Sino-Francais, Southeast University, Nanjing 210096, China)

Abstract： In order to improve the performance of image restoration of the total variation (TV) mod­el, an improved TV image restoration algorithm based on prior information is proposed. First, the nonlocal means (NLM) filtering algorithm, which can effectively protect the structural information of the filtered image, is employed to reduce the noise within the image to restore. Thus, the filtered prior image information is obtained. Then, an improved total variation restoration model based on the obtained prior information is established. The proposed model can not only maintain the TV modeF advantage of protecting the boundary information of restorated image, but also maintain the NLM modeF advantage of protecting the structure information. Finally, the proposed model is opti­mized by the split Bregman alternating direction multiplier iteration algorithm and the restored image is obtained. The experimental results show that compared with other algorithms, the proposed algo­rithm achieves better restoration effect in terms of the subjective visual effect and the objective quan­titative indices such as peak signal to noise ratio (PSNR) and structural similarity (SSIM).Key words： image restoration； prior information； total variation； nonlocal mean； split Bregman获取的数字图像易遭遇模糊退化，因此，图像 复原是数字图像处理领域中一个重要的研究方

向[1].图像复原的目的是依据退化图像恢复出理想图像.图像复原模型通常由数据保真项与约束项

收稿日期：2016-0445.作者简介：张俊峰（1985—），男，博士生;罗立民（联系人），男，博士，教授，博士生导师，liio.list@seii.edii.cn. 基金项目：国家重点基础研究发展计划（973计划）资助项目（2010CB732503 )、国家自然科学基金资助项目（61201344).

引用本文：张俊峰，罗立民，舒华忠，等.基于先验信息的全变分图像复原算法[J].东南大学学报（自然科学版），2016,46(6):1132-1136+

DOI： 10.3969/j. issn. 1001 -0505.2016.06.004.

第6期

张俊峰，等:基于先验信息的全变分图像复原算法1133

构成.根据约束项内容的不同5图像复原分为基予 图像块约束的复原和基子像素约束的复原两大类. 基f图像块约束的复原方法又分为基于变换域的 复原[2]、基于低秩的复原[3]和基于稀疏表示的 复原W-基于像素约束的團像复原主要由全变分

(TV)模型不断改进演变而来[5< .它分为基于加 权TV的复原™、基于高阶TV的复原[8]以及基于 非局部TV的复原[«°]. %基于图像块约束的复原 相比，它具有较好地保持图像边界和运算量小等 优点-本文提出基于先验信息的TV图像复原算法， 它不仅保留了 TV复県模型对图像边界保护的优 点，又兼顾了非.局部均值对结构信息保护的优点f 从而减少了复原图像中的伪影.

1图像复原问题描述

图像模糊退化是一个原图像与模糊核卷积并

被噪声污染的过程，其数学模型为

f = h ^ u n

(1)

式中，《为退化前图像；&为模糊核；*为卷积算 子；》为噪声;/为退化后图像根据模糊核的不 同，图像模糊分为高斯模糊、平滑模糊、散焦模糊以 及运动模糊等不同类塵.，

由式（1)可知，图像复原问题就是已知模糊图 像/的情况下求解M的过程.由于噪声《未知，因 此图像复原问题是一个不确定问题.

对于不确定问题的求解，常用的方法是充分利 用所求图像的先验債息构建模_进行求解.基于 TV的复原算法充分利用了所要复原图像的梯度 稀疏蓿息.尽管TV模型可以很好地保护图像边 界，然而所复原图像易产生块状伪影，这是由模糊 退化过程中所引人噪寅》引起的.

2基于先验信息的TV复原算法

塞于以上分析，为了提高TV模型的复原效

果，需要首先对所要复原的图像/进行滤波预处 理，消除其中所含有的噪声.因此，提出的算法依赖 于对模糊图像进行滤波所得的先验图像.对于先验 图像的获取，本文采用非局部均值滤波算法，该算 法能够很好地保护图像的结构信息.

2.1先验图像获取

非局部均值的思想是把图像中的一个像素表 蕭:为S其为中心的一个较大邻域内所 1有像素猶加 权平均.假设以像素为中心，半径为L的方形邻

域表隶为U

中..所有像素值惑示为

/(\\) =

)，/(ju)，

…

r

(2)

式中，X表示搜索域内像素的总数(2L + 1) x(2L + l); g表示索引符号，1专g矣& \\>为 以像素i•为中心酚邻域&内的第《个像素;/0;.4)

表示％的像素值.据式（2)，非局部均值的表达 式为

NLM(/⑴）=乙, w(M,'?)/U;'s)

(3)

siq^Si

式中=;NLM(/C 〇) 部均值滤波后的像素t的

值，，a、)表示像素值/⑴it/u,s)之间的权重，且

w(i,shq)=

c(0^expl-----------------? I

(4)

其中，C( 0为归一化_子;？为尺度参数；

表示标

准差为。的商斯核，具体计算方法见文献[9].2.2算法模型

根据式P)所求的先验图像(搜索域的大小为 21x21像素，匹配窗的大小为3 x3像素），结合

TV复原模型j提出的基于先验會息的TV复原

算法模型为

m 二 arg rnin^- || /i * m _/ || 2 + $ || /i 本.m _ r || 2 +

A2TV(M) + ||r-NLM(/) || 2 (5)

式中A卜A.2为准.则参数f•为参数.，_连接保 真项与先验项.TV( m)的表达式为

TV(m) =

+(V,M,.)2) (6)

i=l

式中，图像M (大小为M X «像素）在像素

处的像素值；7^与^,分别表示像素^处朮^7/ 尚与水乎方向梯度.

3算法优化

对模型（5)采用Bregman算法进行优

化[11].貢先将式(6)中TV( m)童新记为

TV(m) = II II , (7)

则式(5)变为

m = arg min^- || /i * m _/1| 2 + # || /i;伞 m _ /* || 2 +

A2 || || ^ + || r-NLM(f) || 4 (8)

令< =V.SM為=VvM，并将它们代入式(8 ).,则 式(8)转化为

I{二 arg min^- || /i * m _/ || 2 + f || /i * m _ f || 2 +

http ：//journal, seu. edu. cn

1134

东南大学学报（自然科学版)

第46卷

^2 II |[ 2 + || /* - NLM(/) || 2 +li^x -^xU)~ + (dy -VyW)-!1

(9)

式中，

为IE参数.：利用Bregnian.，式(_9)的

优化模遒_:可表示为

it = arg min^- || /i * m -/1| 2 + ^ || /i *. m - r || 2 +

^2 II dx ,dy || 2 + || r - NLM(/) || +

—A3 * { dx - Vvm -bx)~ + (dx ~^yu - by)21 (10)

式中，\\

h为辅助变量.式（10)的优化分为4个

子优化问题进行.

1)当r，4，〇*，h.&知时，对《的子优化

可表示为

m =这rg m

in^- || /i * m _/ || 2 + || /i * m _ /* || 2 +

_-b^)\" + {dy - VyM -)\"] (11)

其最小化对应的欧拉-拉格朗日方程表示为

((1 + A!) /iT * h + A 3 ( VI * Vi + VJ * Vy)) * m =

hT *f+klhJ +A31VJ * (dx -bj +VJ * (dy -by)}(12)

对其进行快速傅里叶变换(FFT)，整理后再进行反 傅里叶变换(IFFT)，可得w的解析式：

HtF +A1/?t/? +A3Uj(A- -Bx) +^(Dy

(l +Al)HTH+AM

：Ax

+AlA,) J

(13)

式中，ff，' /?，込，£)v，足，'，成，劣分别为

h, f, r，dx, d” bx, b” U 的贿.2)当M，r，\\已知时，对K的子优

化为

(dx,dy) =arg minA2 || dx,dy || +

dx，dy^A*(rfr -Vam-bx)~ + (dy -Vyu -byy] (14)

对其用软阔值算法求解['结果为

dx = max i ■

A2\\Vam + bx

Aj/ ^

(15)max ^ ■

A2\\Vtm +by

A J

^

(16)

其中

•5=

+bx)2 + (VyU +by)2

(17)3)盡m, r，<，今g知时，Zy直薪为

bx^-bx + (7xu - dx) (18)b.y—知 v +yu - dy、

( 19 )

http ；//journal. seu. edu. cn

4) g«,尤，

卜已知时，/•对应的子优

化为

r = arg minr ^L

1- \\\\h*u-r\\\\2 + || r - NLM(/) || 2

(20)

对式(20)用软阈值收缩算法求解，其结果为 r = sig(/r * m - NLM(/)) •max(abs( (h

- NLM(/))) ,0) +NLM(/)

(21)

式中，sig为指示函数;abs.为绝对傷函数.

综上所述，模型(5)的优化过程见算法1,其中 W为最大迭代次数'为相对误差阈值•

算法1基于先验信息的TV复原算法

输入:模糊退化图像/输.出复原图像

®S： A，3'初始化:fc=〇,/=0，/•=0’《-=〇, 4 =〇, K 6), =〇.

1)纖織图像nlm(/).2>_Bregmafi迭代while A: abs (m^ - )/abs (m^) >s利用式(13)、（15)、（16)更新《，尤，利用式（18)、（19)、（21)更新ftx，k = k + l；end

4

实验与结果分析

4.1实验设置

为織®.所提算法的性能，选择Jetplane，Lake，

Lenna，Cameraman四幅测试图像进行貪斯、乎滑、 运动以及散焦模糊下的复原实验，模糊参数设置见 表1.其中，高斯、平滑以及运动模糊的设量参照文

献〔13 ]，散焦模糊参照文献[14 ].

表1各种图像退化设置

模糊类型

模糊设置

噪声标准差〇■

寫斯模糊

Fspecial (Gaussian ,11,5)5平滑模糊

Fspecial (average ,11,5)5运纖麵

Fspecial (move ,11,5)5散焦模糊

psfDefocus (7)5

4.2实验结果

在主观视觉效果评价方面，图1给出了 Cam­eraman 图像的复原绪果-由 酉可见 ，，基 全变分所 复原的图像过于平滑，非局部均值变分算法的复原

图像中章坪部分引人了方法噪_„而本文所提算法 成功克服了这些弱点.在客观度量方面，利用PSNR和SSIM指标对本文算法的:复原结果进行了度量，并与TV⑷以及

第6期

张俊峰，等:基于先验信息的全变分图像复原算法

表2

复原图像的PSNR与SSIM

PSNR

SSIM

1135

81

图像模糊类型高斯模糊

木文竹法

30.0029.9727.2229.1928.2128.4526.0727.8130.2430.2027.2629.6332.9432.8328.7931.91

文献

[6]28.9828.9025.4627.9727.8727.8224.7526.9829.1129.0325.5828.3231.3931.2926.4930.28

文献

[10]29.7429.7026.9728.9128. 1428. 1325.8327.4030.0629.9327.0929.4931.8831.8428.3731.01

木文诈法

0.880.880.820.870.800.800.740.780.840.840.760.830.910.910.840.90

文献

[6]0.850.850.790.830.780.780.710.760.800.800.720.780.880.880.830.87

文献

[1010.880.880.810.870.800.800.730.780.840.840.760.830.900.900.850.

mm

Jetplane

平滑模糊运动模糊散焦模糊高斯模糊平滑模糊运动模糊散焦模糊高斯模糊平滑模糊运动模糊散焦模糊

Lake

mm

Lenna

II

(a)模糊图像

mm

（b) TV

(c) NLTV

(d)本文算法

Cameraman

图1 Cameraman图像的复原结果

平滑模糊

r 一 r运动模糊散焦模糊

非局部TV(NLTV)算法复原图像的度量结果进行 了对比[1°].图像的详细复原情况见表2,可看出所 提算法取得了较好的复原效果.

利用所提算法对不同参数的敏感性进行了实 验分析.Ai分别设置为1，2, 3，4; A2与A3分别 设置为〇.1，〇. 3, 0.5, 0.7.图2给出了不同参数 下所复原的图像，表3给出了相应的PSNR与

(a) Ax = 1

(b) Ax =2

(c)

=3

(d)

=4

SSIM.从表3中可看出，所提模型对参数A2较为 敏感，因此试验参数的调整主要关注A2.为了验证不同标准差噪声下所提算法的复原 效果，本文将标准差^设为3，4,5，6,7,分别进行 了实验.表4给出了复原图像的PSNR和SSIM结 果，可看出，随着噪声标准差的递增，3种算法的复 原效果均变差，但在标准差一定的情况下，所提算 法仍然占优.

表3

参数

PSNRSSIM

Ai

132.840.91

232.840.91

332.840.91

432.840.91

0.129.090.65

0.331.860.84

(e) A2 =0.1 (f) A2 =〇. 3 ( g) A2 =0. 5 (h) A2 =0. 7

(i)A3=0.1 (j)A3=0.3 (k)A3=0.5 (1)A3=0.7

图2不同参数下平滑模糊Cameraman图像的复原结果

不同参数下平滑模糊Cameraman复原图像的PSNR与SSIM

入2

0.532.720.

0.732.840.91

0.132.140.91

0.332.420.91

a3

0.532.620.91

0.732.760.91

表4不同噪声标准差下平滑模糊Cameraman复原图像 的 PSNR 与 SSIMd

文献[6]

333.0932.7134.280.920.900.93

432.4031.9533.490.910.910.92

531.8431.2932.830.900.880.91

631.3930.8032.200.900.870.90

731.0030.3131.790.0.860.

5结语

本文提出了一种基于先验信息的TV图像复

PSNR文献[10]

本文笕法文献[6]

SSIM 文献[10]

原算法.首先，采用非局部均值算法对模糊退化图

像进行滤波以减少其中所含噪声，获得滤波后的先 验图像.然后，根据此先验信息构建基于先验信息 的TV复原模型.最后，采用Bregman迭代算 法对所提模型进行优化，得到复原后的图像.研究 结果表明，与其他算法相比，该算法能取得较好的 复原效果.

http ：//journal, seu. edu. cn

本文W法

1136东南大学学报（自然科学版)第46卷

参考文献（References)

[1 ] Sonka M, Hlavac V, Boyle R. Image processing, anal­

ysis, and machine vision [M]. 4th ed. Stanford，CA， USA: Cengage Learning，2014:161 —165.

[2] Averbuch A, Neittaanmaki P, Zheludev V. Periodic

spline-based frames for image restoration [ J ]. Inverse Problems and Imaging, 2015, 9(3) ： 661 ~1Q1.[3 ] Huang C, Ding X, Fang C, et al. Robust image resto­

ration via adaptive low-rank approximation and joint kernel regression [ J ]. IEEE Transactions on Image Processing, 2014, 23 (12) ： 5284 - 5297. DOI： 10. 1109/TIP. 2014. 2363734.

[4] Dong W, Zhang L, Shi G, et al. Nonlocally centralized

sparse representation for image restoration [ J ]. IEEE Transactions on Image Processing, 2013, 22(4) ： 1620 -1630. DOI：10.1109/TIP.2012.2235847.

[5] Rudin L I, Osher S, Fatemi E. Nonlinear total variation

based noise removal algorithms [ J ]. PhysicaD, 1992, 60(1)： 259 - 268. DOI： 10. 1016/0167 - 27 (92) 90242-f.

[6] Beck A, Teboulle M. Fast gradient-based algorithms for

constrained total variation image denoising and deblur­ring problems [ J]. IEEE Transactions on Image Pro­cessing, 2009, 18(11) ： 2419 -2434. DOI： 10. 1109/ TIP.2009.2028250.

[7 ] Liu X. Weighted total generalised variation scheme for

image restoration [ J ]. IET Image Processing, 2016, 10 (1)： 80-88. DOI：10.1049/iet-ipr.2015.0013.

http ：//journal. seu. edu. cn

[8] Lii X G, Song Y Z, Wang S X, et al. Image restora­

tion with a high-order total variation minimization meth­od [ J ]. Applied Mathematical Modelling, 2013, 37 (16)： 8210 - 8224. DOI： 10. 1016/j. apm. 2013. 03.028.

[9] Buades A, Coll B, Morel J M. A review of image de­

noising algorithms, with a new one [J]. Multiscale Modeling (^Simulation, 2005, 4(2) ： 490_530. DOI： 10.1137/040616024.

[10] Lou Y，Zhang X，Osher S，et al. Image recovery via

nonlocal operators [ J ]. Journal of Scientific Compu- ting,2010, 42(2) ： 185 -197. DOI： 10. 1007/sl0915- 009-9320-2.

[11] Chen H，Wang C，Song Y, et al. Split Bregmanized

anisotropic total variation model for image deblurring [J]. Journal of Visual Communication and Image Rep­resentation, 2015, 31： 282 ~293. DOI： 10. 1016/j. jvcir.2015.07.004.

[12] Chambolle A, De Vore R A, Lee NY, et al. Nonlin­

ear wavelet image processing： Variational problems, compression，and noise removal through wavelet shrinkage [ J ]. IEEE Transactions on Image Process­ing, 1998, 7 ( 3 )： 319 - 335. DOI： 10. 1109/

83.661182.

[13] Gonzalez R C, Woods R E, Eddins S L. Digital im­

age processing using Matlab [ M]. Bergen County, NJ, USA： Pearson Education, 2004 ：141 - 193.[14] Hansen P C, Nagy J G, O'Leary D P. Deblurring im­

ages ：Matrices, spectra, and filtering [ M ]. Philadel­phia, PA, USA： Society for Industrial and Applied Mathematics，2006:21 —29.