研究生课程考试小论文格式要求(内容)

小论文

课程名称： 数字图像处理 课程编号： 072001808

论文题目: 视频中的运动目标分割与阴影消除

研究生姓名: 高书德 学 号: 11610046

论文评语:

成 绩: 任课教师:

评阅日期:

视频中的运动目标分割与阴影消除

11610046，高书德

2012年3月4日

摘 要：针对目前运动对象分割不完整，以及存在阴影和鬼影对运动目标分割的影响，提出了一种基于复杂背景下的运动目标分割与阴影消除方法。首先利用高斯混合模型进行初始背景建模并提取初始前景对象，将当前视频帧和背景模型进行差分运算，且通过多尺度小波变换时空域特征，将多尺度分析和图像分割相结合，压制阴影并消除鬼影对运动目标分割的影响。通过实验对比，所提方法能有效地从复杂背景视频图像中提取运动目标且具有强的鲁棒性。

关键字：目标分割；阴影消除；高斯混合模型；小波变换

Segmentation of Moving Targets and Shadows Elimination based on

Complex Background

Abstract: Aiming some existing limits in foreground objects segmentation such as incomplete segmentation of moving targets, moving shadow and ghosts, a novel segmentation method and shadows elimination from a complex background is proposed. Firstly, a Gaussian mixture model (GMM) is adopted to construct background model and extract some foregrounds. Background subtraction is performed between the current frame and the previous constructed background model. According to some characteristics of multi-scale wavelet transform in spatial and temporal fields, multi-scale analysis is combined with image segmentation to suppress shadows and eliminate ghost in the video. Experimental results show that the proposal can effectively segment the moving targets from video with a complex background and eliminate shadows and ghosts by comparisons. Keywords: Target segmentation; Shadows elimination; Gaussian mixture model; Wavelet transform

1. 引言

随着视频多媒体的不断发展，视频运动目标分割已经成为计算机视觉研究的核心课题之一[1-4],它不仅可以从视频流中分割出目标和背景，又是目标跟踪、识别和分析的基础。目前，运动物体的视频分割与提取在视频监控、人机交互、娱乐动画、多媒体、通讯、军事以及体育等领域都有着极为广泛的应用前景，引起了国际上许多著名科研机构以及研究人员的兴趣。

目前已有运动目标分割方法主要有：背景差分法、时域差分运动检测法和光流(Optical Flow)法。其中，背景差分法利用当前图像与背景图像的差分来检测运动区域，但这种方法对光照变化非常敏感。为克服上述不足，Hou等人利用自适应的混合高斯模型进行背景建模，并利用在线估计来更新模型处理光照变化。但该方法很难抑制阴影所造成的影响。Huang等人提出了一种融合边缘检测的运动前景分割方法，但是此方法对运动前景的分割结果不完整，容易出现空洞；Bayona等人提出了一种基于复杂背景下的前景区域提取方法，但是此方法仅仅用于提取静止的前景区域，实用性差。时域差分运动检测法对于动态环境具有较强的自适应性,鲁棒性较好,能够适应多种动态环境,但不能完整提取出相关的特征象素点,在运动实体内部容易产生空洞。Xiao等人提出了一种基于帧间差分法和不变矩阵特征的运动目标检测与识别方法。该方法虽然检测速度快，但检测到的目标完整性也不高。光流法能够在预先不知道场景任何信息的条件下检测出运动的对象,但其计算复杂、耗时，难以满足实时性要求。Hirai提出一种基于多通道整合的方法，加快光流估计的运算速度。但是由于该方法的算法较为复杂，无法达到实时性。

针对上述方法不足，本文提出了一种基于运动变化的复杂背景下的运动目标分割及阴影消除方法。它运

用混合高斯模型进行背景建模，并实时更新背景，将当前图像与背景图像在HSV彩色空间做差分运算，最后利用多尺度小波变换的频率抽取特性，结合混合高斯模型，有效地消除了阴影和鬼影影响。该方法能较完整地提取视频中的运动对象，且能对背景实时更新，误检率低，处理速度快，具有较强的鲁棒性。

2. 基于混合高斯模型和多尺度小波变换的运动前景分割 2.1混合高斯模型运动检测

目前的运动对象分割算法有许多，其中混合高斯模型是一种较为常用的算法，该方法能快速地检测出运动前景区域。其大体方法如下：

（1）在视频序列中，假设某位置的像素点在各帧图像中的像素点的值分别为：{X1、X2、…、Xt}，根据这些像素值，用n(1≤n≤K)个高斯分布来描述该像素点的像素值分布情况。在时刻t，像素值X1属于背景的概率可以通过下面的式子得到：

ti,txt,i,t,i,ti1 (1)

其中，K是高斯分布个数，i,t是第i个高斯分布在t时刻的权值i,t是第i个高斯分布在t时刻的均值，

i,t是第i个高斯分布在t时刻的协方差矩阵，是高斯分布概率密度函数。

（2）适时对混合高斯背景模型进行更新，不但要对模型自身的参数进行更新，还要更新各分布的权值等。若第k个高斯分布与Xt匹配，则按照如下方式对模型中K个高斯分布的权值

进行调整：

k,tk,t1ak,t1aMk,t (2)

其中a是权值更新率，如果被检测的像素值Xt与第k个高斯分布匹配，则Mk,t=1，而其它高斯分布对应的Mk,t=0。

背景模型中匹配成功的高斯分布，其均值和方差也要进行更新，方式如下：

t1t1t (3)

t21t21ttTtt (4)

其中aXtk,k。

（3）设像素点m(x,y)的当前像素值为Xt，其前景判定式如下（Bt(x,y)=1时表示Xt属于前景像素点）：

0,若Xtt1,ii1iBtx,y否则1， (5)

其中，为高斯更新判决参数。即在进行前景检测时，只要被检测的像素值和背景模型中前B个高斯分布的任意一个相匹配，则认为该像素点属于背景，否则认为它属于前景。只有当被检测的像素点的值和前B个高斯分布中的一个相匹配时才认为该像素点属于背景，这样可以避免新引入的高斯分布立即参与前景的判断。

采用上述方法，会将运动物体的阴影误检为前景区域提取出来，所得到的结果如图1(b)所示。因此有必要结合时空域特征进行运动目标检测。由于多尺度小波变换在时空域上的特性，利用多尺度小波变换，将有效地消除阴影对运动目标分割所造成的影响。

(a) (b)

图1. 运动对象分割结果.(a)为原始图像,(b)为分割结果.

2.2融合多尺度小波变换的运动前景分割

由于运用混合高斯模型得到的前景图像，受到阴影的影响极为严重，因此，如何去除阴影[20]对前景分割的影响十分必要。我们这里引用了多分辨率小波变换的特性。

一般来说，图像检索必须在特定的颜色空间内进行。而颜色空间描述一方面应符合人眼的视觉感知特性，另一方面应该方便图像处理。RGB颜色空间是一种不均匀的颜色空间，像素的颜色距离与人眼的感知距离比较大，不适合彩色图像的分割。HSV颜色空间是均匀的颜色空间，它反应了人眼视觉观察彩色的方式，同时也有利于图像处理。HSV颜色空间有两个重要的特点：其一，V分量（亮度）与彩色信息无关；其二，H分量（色调）和S分量（饱和度）与人感受彩色的方式紧密相连。

相比于RGB颜色空间，HSV中3个分量之间的相关性要小很多，色彩分类简单自然。这些特点使得HSV颜色空间非常适合于借助人眼视觉系统来感知彩色特性的图像处理方法。

所提方法在利用混合高斯模型得到最新的背景图像时后，将所得到的背景图像转化至HSV颜色空间，同时将当前帧也转化至HSV颜色空间。在V分量（亮度）和S分量（饱和度）两个通道上，将当前图像和背景图像进行差值运算，得到两个通道上的差值图像。在得到两个分量上的差值图之后，我们将利用多尺度小波变换，对其进行处理，从而得到两分量上的前景图。

这里，我们运用到了Sobel算子[21]，Sobel算子很容易在空间上实现，它利用像素点邻域的灰度加权算法，根据在边缘点处达到极值这一现象进行边缘的检测。定义卷子算子如下：

Sm,nmfnf (6)

卷积算子为：

101 (7)

mf202101121 (8)

nf000211适当取门限Tr，假定所处理的图像为e(x,y)，感兴趣区域为E(x,y) [20]，则作如下判断：

Ee*mf2e*nf2Tr (9)

由此，分别取Ts和Tv为两个分量上的小波变换前景像素阈值。并且分别做Ns和Nv次多尺度小波变换。将S分量和V分量的差值图像经上述公式做多尺度小波变换，得到的效果如图2所示。图2（a）为S分量经小波变换得到的图像，在饱和度分量上主要去除了阴影的影响；图2（b）为V分量获得的结果，在亮度分量上主要在去除噪声上有较为明显的效果。图2（c）为两图像相与得到的结果。最后，我们利用混合高斯

模型所得到的前景图像与多尺度小波变换所得到结果相结合，得到最终的运动前景分割图。

(a) (b) (c)

图2. 小波变换效果图.(a)为S分量的效果图,(b)为V分量上的效果图, (c)为两图相与之后的效果图

3. 实验结果及分析

为验证所提算法的有效性和鲁棒性，以及运动前景分割的效果。本文采用了公共测试视频图像库中的测试视频，对提出的方法进行检验。被选作实验的视频，背景环境相对复杂，并且有前景物体的移入与移出导致背景随即发生变化，因而有鬼影的出现可能，更能体现本算法的鲁棒性。

实验中，相关参数设置如下，且对不同的实验视频序列始终保持不变。混合高斯模型的权值更新率a=0.05，高斯更新判决参数为2.5，多尺度小波变换前景像素在S分量上的阈值为Ts=1.5，在V分量上的阈值为Tv=1.0，所做多尺度小波变换的次数分别是Ns=Nv=1。

本算法在VC++6.0编程环境下，采用CPU E5300，主频2.6GHz，2.0GHz的PC机。为了对所提算法的性能进行评估，实验主要从算法的耗时性和前景对象提取的完整性两个方面分别与混合高斯模型和多尺度小波变换进行了对比。主要在采用六个实验视频，分别是“校园”、“走廊”、“高速公路”、“智能屋”、“实验室”和“跳跃”。所取视频样本分辨率分别为：校园和走廊为352×288(pixels)；高速公路、智能屋和实验室为320×240(pixels)；跳跃为180×144(pixels)。图3是对混合高斯模型、多尺度小波变换和所提方法的算法耗时比较图。实验视频从左到右依次为：校园(a)，跳跃(b)，走廊(c)，高速公路(d)，智能屋(e)和实验室（f）。

图3 算法耗时比较图(单位：ms)

从图3中可以看出，所提方法分别与混合高斯模型以及多尺度小波变换的方法相比，虽然更加耗时，但是后文将对前景对象提取的完整度进行分析，所提方法在前景对象提取的完整性上，比其他两种方法的效果更好。我们分别将混合高斯模型，多分辨率小波变换以及所提方法得到的前景对象结果图进行对比。这里引用两种对比数据将上述两种方法与所提方法进行比较。第一个是真实正比率TPR（True Positive Rate），第二个是错误正比率FPR（False Positive Rate）[22]。

TPRTPFP和FPR (10)

TPFNTNFP其中，TP（True Positive）表示正确检测到运动目标的像素个数，TN（True Negative）表示正确检测到背景的像素个数，FN（False Negative）表示漏检的运动目标像素个数FP （False Positive）表示将背景误检成为运动目标的像素个数。部分对比结果如下表。

表1. 不同方法的实验数据对比

视频 校园 方法 检测率（%） 混合高斯 模型 多尺度 小波 所提 方法 TPR FPR TPR FPR TPR FPR TPR FPR TPR FPR TPR FPR 97.73 24.72 100 33.73 98.19 25.73 99.14 19.17 95.57 84.90 100 14.60 98.34 9.87 100 20.51 98.16 7.11 .07 8.40 92.17 25.18 96.16 13.40 97.01 3.30 100 0.44 96.96 4.98 .19 3.16 92.02 1.68 96.22 3.70 跳跃 走廊 高速公路 智能屋 实验室 由表1的数据对比可知，所提方法在真实正比率TPR的对比上，和其他两种方法相差不大，但是所提方法大大减少了错误正比率FPR，得到了较完整的前景对象，且对噪声、环境变化以及阴影的干扰等方面都能起到良好的抑制效果。图4显示的是部分视频的实验结果，从上到下依次为：校园，跳跃，走廊，高速公路，智能屋和实验室。实验结果进一步说明了本文方法相对于混合高斯模型和多尺度小波变换的优越性。

4 结论

结合混合高斯模型和多尺度小波变换，提出了一种更为高效的运动前景分割方法，有效地消除了阴影与鬼影对前景分割所造成的影响。使用高斯混合模型得到运动背景和每一帧的前景图像，并且对每一帧的背景进行实时更新。将得到的背景帧和当前图像转化到HSV颜色空间，并且在H分量和S

分量上做差分运算得到两个分量上的差值图，经过多尺度小波变换，分别去除噪声和阴影的影响，将两分量得到的效果图相结合，得到多尺度小波变换

的最终效果，最后结合之前的高斯混合模型所得到的前景分割图像，得到最终的效果。通过实验对比，证实了本文所提方法有效、可行，且鲁棒性强。

(a) (b) (c) (d)

图4. 实验结果图 (a)当前图像,(b)为高斯效果图,(c)为小波变换效果图,(d)所提文方法效果图

参考文献

[1] [2] [3] [4] [5]

A. Bugeau, P.Perez. Detection and segmentation of moving objects in highly dynamic scenes. Proceeding of IEEE Conference on Computer Vision and Pattern Recognition, 2007: 1-8.

F.Hafiz. Foreground segmentation-based human detection with shadow removal. Proceedings of International Conference on Computer and Communication Engineering, 2010: 1-6.

J. M. Zhang, C. H. Chen. Moving Objects Detection and Segmentation In Dynamic Video Backgrounds. Proceedings of IEEE Conference on Technologies for Homeland Security, 2007: -69. 陈奕奕. 运动目标检测分割算法研究. 武汉:武汉科技大学信息科学与工程学院, 2010.

S. S. Mohamed, N. M. Tahir, R. Adnan. Background modeling and background subtraction performance for object detection. Proceedings of the 6th International Colloquium on Signal Processing and Its Applications, 2010: 1-6.

[6] [7]

C. H. Zhan. An Improved Moving Object Detection Algorithm Based on Frame Difference and Edge Detection. Proceedings of the 4th International Conference on Image and Graphics, 2007: 519-523.

S. Denman, C. Fookes, S. Sridharan. Improved Simultaneous Computation of Motion Detection and Optical Flow for Object Tracking. Proceedings of Digital Image Computing: Techniques and Applications, 2009: 175-182.

[8]

H. Y. Zhang. Multiple moving objects detection and tracking based on optical flow in polar-log images. Proceedings of International Conference on Machine Learning and Cybernetics, 2010: 1577-1582.

[9] [10]

Y. M. Hou. Gaussian Mixture Model Segmentation Algorithm for Remote Sensing Image. Proceedings of International Conference on Machine Vision and Human-Machine Interface, 2010: 275-278.

M. Huang. A study of moving object detection based on combining background profile difference algorithm. Proceedings of the 2nd International Conference on Industrial and Information Systems, 2010: 425-428.