、b1Jan..6 201NO. l 1 中国科技论文在线SClENCEPAPER ONLINE 第6卷第1期 2011年1月 PCA在人脸识别中的改进算法 黄 叻,张宝昌,刘金琨 (北京航空航天大学自动化与电气工程学院,北京100191) 摘要:基于传统的主成分分析(PCA)方法,为使PCA不再局限于满足高斯分布,提出了改进的PcA人脸识别方法。 改进的PcA方法先对训练图像集进行分块,对分块得到的子训练图像集利用传统PCA进行分析,得到多个投影矩阵, 通过投影矩阵将训练图片和测试图片投影到特征空间。此外,为了利用样本之间的相关性,进一步提出了基于距离矩 阵的扩展方法,使得对训练样本分块时丧失的信息得以保留,进一步提高了系统的性能。在Feret人脸库上的试验结果 表明,所提出的方法在识别性能上明显优于传统I ̄PCA方法,识别率得到了提高。 关键词:主成分分析;特征抽取;推广的PcA;特征矩阵;人脸识别 中图分类号:TP391 文献标志码:A 文章编号:1673 7180(2011)ol一0054—5 Promoted PCA and its application in human face recognition Huang Fang,Zhang Baochang,Liu Jinkun fSchool ofAutomation Science andElectrical Engineering,Beihang University,Beo'ing 100191,China) Abstract:Principalcomponentanalysis(PCA)isoneofaccepted andimportanttechniqueforfeature extractionwidelyused in the areas ofimages recognition such as human face recognition.Promotde PCA,a human face recognition technique based on PCA,is presented,in order htat PCA is not only limitde to Gaussian distribution.First,the original training set was divided into some sub-sets.Second the well-known PCA method Was directly used to these sub-sets obtained corresponding transformedmatirxes.Throughthesematrixes,training set andtesting setweremappedinfeature space.In addition,inorder tomakeuSe ofthe correlationamong samples.apromotedmethodbased ondistance—matrixiSpresented.Withthismethod, the information lost during the blocking is saved and then the performance is improved.To test promotde PCA and to evaluate ist performance,a series of experiments were performed on a human face image databases:Feret human face adtabases.Theexperimental resulstindicatethattheperformanceofpromotedPCAisobviously superiortothatoftraditional PCA.The recognition rateisimproved. Keywords:pnncipal componentanalysis;featureextraction;promotedprincipal componentanalysis;featurematrix;face ercogniiton 人脸识别是模式识别研究领域的重要课题,也是一 在人脸图像识别中,PCA[4]又称K-L变换,被认为 个目前非常活跃的研究方向 。它不仅具有重要的应用 是最成功的线性鉴别分析方法之一,目前仍然被广泛地 价值,如在保安系统、犯罪识别及身份证明等方面,同 应用在人脸等图像识别领域。本质上,PCA方法的目的 时也是模式识别理论中比较典型的多类型判别问 。 是在最小均方意义下寻找最能代表原始数据的投影同。 收稿日期:2010—09—02 基金项目:高等学校博士学科点专项科研基金资助项目(20091102120001);国家自然科学基金资助项 ̄(60903065) 作者简介:黄畴(1985一),男,硕士,主要研究方向:模式识别与图像处理 通信联系人:张宝昌,讲师,主要研究方向:模式识别理论与应用,bczhang@buaa.edu.cn 第6卷第1期 2011年1月 PCA在人脸识别中的改进算法 …55 传统的PCA方法首先将图像矩阵转化为图像向 量,然后以该图像向量作为原始特征进行线性鉴别分 > )和与之对应的特征向量P-- ̄[Pl,p2,…, 。此 时的P称为最优投影向量组,其物理意义是:图像向量 在P方向上投影后得到特征向量的总体分布散度最大。 P的列向量 I, ,…, ]就是新坐标系中的基向量。 1.2特征映射 析 j。笔者基于主成分分析的思想,从原始数字图像 出发,在模式识别之前,先对由所有样本组成的图像训 练矩阵进行分块,要求子块中的图像尽可能具有同样的 性质,即将不同类人脸中相同姿态、光照和表情的图像 划分进同一块,从而使子块更接近于高斯分布。对每个 子图像训练矩阵再用PCA方法进行分析,得到多个投 原始图像的维数较大,不利于直接用于分类,这有 就必要对原始数据进行降维,如何找出最能代表原始图 像的低维数据是进行分类的关键。 影矩阵,通过这些投影矩阵将训练图片向量和测试图片 向量投影到特征空间,再经过特征融合后进行分类。这 样做主要基于如下考虑:在传统的PCA算法中,要求 训练样本符合高斯分布,得到的结果才是理想的,但是 实际操作中训练样本由于存在光照、表情和姿态等因素 远离高斯分布,而改进的PCA算法通过对其进行归类, 在子训练矩阵(由于影响因素较小,更接近于高斯分布) 中提取主元,同时该方法可以增加主元的个数,能提供 更多的有效特征。此外,笔者又利用样本之间的相关性 信息,在一定程度上弥补由于样本分块带来的信息损 失,从而进一步提高系统的识别率。在著名的Feret人 脸库上的试验结果表明:笔者提出的方法在识别性能上 明显优于传统的PCA方法,识别率有显著提高。 1 PCA方法 1.1 PCA思想与最优投影矩阵 PCA的其本质是在最小均方意义下寻找最能代表 原始数据的投影方向,从而达到对特征空间进行降维的 目的。为行文方便,首先介绍向量化矩阵概念。 定义若A∈R ,则vec(A)∈ 。即矩阵 按列依次排成的向量,称该过程叫矩阵 的向量化。 设人脸灰度图像的分辨率为mxn,则该图像构成一 个mxn的图像矩阵,可以将图像矩阵向量化为mn维的 图像向量 ,即4-=vec(A)ER 。 设训练样本的类别有C个,第i类(卢l'2,…,CI)有训 练样本图像 个: 1, ,…, ^f,每个样本都是mn ̄1 维的向量,^,=CxM为训练样本的总数。 将所有训练样本图像组成训练矩阵 [411,412,…,翎 ,iE 1,2,…,C, ∈1,2,…,Mo(1) 定义对训练矩阵 I。减去平均列向量得到标准 训练矩阵 = 。一 , 一 ,…, 一 J , (2) 式中: = ∑∑ 。' 、i=1 j=l 对 求降序的特征值矩阵 ,22,…, 1> 最优投影向量组的前d个列向量Pa=[pl,P2,…,pd](d ≤ )可用于特征映射,对于向量化的图像矩阵 ,利用 , , (3) 式中:Yae 是特征空间中的特征向量。这样,就能 够将原始mn维的数据降维到d维的数据。 1.3分类 通过前文的特征映射过程,每个向量化训练图像 对应1个特征向量 = ,每个向量化测试图像Cx 对应1个特征向量, 。利用余弦分类器 , ) 网rZ, 1,2,…,c√∈1,2'…, 。(4) 如果(I(  ̄-'l'lax ,功,那么4x与白同类。 2改进的PCA方法 2.1主要思想与投影矩阵 传统PCA的模型中需要诸多的假设条件,存在一 定的,在有些场合会造成效果不好甚至失效。其算 法要求标准训练矩阵(1.1节中的 符合高斯分布, 也就是说,如果考察的数据概率分布并不满足高斯分布 或是指数型的概率分布,就不能使用方差和协方差很好 地描述噪声和冗余,对变化后的协方差矩阵并不能得到 合适的结果,在这种模型下PCA将会失效。而事实上, 在样本集合里,往往包括不同姿态、角度和亮度的图片 使其不满足高斯分布。 改进的PCA思想是将原来的标准训练矩阵 = 一手,41 一 ,…, 一 J 分为多个子块Xl,x2,…, 。其中 , ,…, 分别为样本中相同属性图片的合 集,即是将相同姿态或角度或亮度的图像划分进同一 子块。该子块所包含的外在因素较少,所以更接近于 高斯分布。对每个子块按照1.1节所述方法分别做传统 的PCA,可得到投影矩阵P1, ,…, ,利用投影矩阵 进行投影,这样得到的特征向量更能够反应出原始数 据的属性。 56 中国科技论文在线SCIENCEPAPER ONLINE 第6卷第1期 2011年1月 2.2投影矩阵的计算 对 l,P2,…, 中的每一个投影矩阵 J=1,2,…, 都可以抽取前 个列向量,重新组成新的变换矩阵 [ , ,…, ],通过公式 [ , y--[ ̄,y2,…, …,, :Ir。 (5) 可将 进行对特征空间的映射,y是 在特征空间中的 特征向量。 对于某一幅向量化测试图片 ,其在姿态、角度或 亮度上,必然与标准训练子块 , ,…, 其中之一同 类,这样对从 , ,…, 中运算得到的投影矩阵P1, 尸2,…, ,必有1个 ∈[PI,/'2,…, ( :1,2,…, 能更好地对己作出投影映射,也就是说必有1个 ∈[yj, …,,瑚(m=l,2,…, 能更好地反映出蠡,相对于传 统PCA只是对所有训练样本统一做运算,得到统一的 变投影矩阵P和特征向量y,其不能很好地反映出 的类别特性。 但是由于改进的方法对数据 进行了分块处理,导 致数据yl,y2,…, 彼此之1司相互,所以,笔者提 出利用数据之间的相关性改善特征向量的方法。其思想 是:对每一个训练样本 或者测试样本 都计算Ⅳ个 (Ⅳ是训练样本总数)其到所有训练样 l,2,…,Ⅳ) 之间的距离,利用这Ⅳ个距离与原始的特征向量进行特 征融合,形成新的特征向量,从而保持数据之间的相关 性。操作如下: 定义距离矩阵 若向量化图片 对应特征向量】,’ 那么定义矩阵ZER , 玲_I ly一 II 2,k=l,2,…,Ⅳ。 其中y可以是某个测试向量 的映射 ,也可以是某一 个训练向量 的映射 。 是训练样本4k( ̄l,2,…,册在特征空间中对应 的特征向量。 在训练集合确定的情况下,所有 是固定不变的, 进而得到z ,),即y与z是一一映射的。在改进的方 法中,定义 的特征向量不再是 而是改进的Iv・yl,Z], 其中v是人为设置的一个参数,操作如图1。 之所以这样定义是因为:①】,作为 的特征向量 能够反应 的主要属性。②z是特征向量】,与所有训 练向量集合Yk(k=-1,2,…,Jv)的特征融合,将Z加入 到对 特征向量的定义中,消除了单纯用y定义特 征向量造成的数据的性和不相关性,通过合理 的权重系数的设置,使得 ,2]能够更好地反应 的特征。 图1 改进的特征向量 Fig.1 Promoted feature vector 2.3分类 将向量化测试图片毒的特征向量定义为Iv・ ,Zx], 同时将向量化训练图片 的特征向量定义为Iv・y/r, 。 通过选择合理的参数v,利用类似1.3节的方法,利用余 弦分类器进行分类。 需要指出的是,用推广的PCA方法进行鉴别分 析时,若对 = 一 ,莓 一 ,…, 一 不进行分块, 即只有1个子矩阵,此时,改进的PCA就是传统的 PCA,表明传统PCA是改进PCA的特殊情况。 3实验结果与分析 实验是在FERET人脸库上进行的。FERET人脸库 由200个人组成,每人的脸图由7幅人脸图像组成,共 1 400幅人脸图片。第l幅图是人脸的正面照,第2幅 图到第5幅图是人脸角度的变换,第6幅图是表情的变 换,第7幅图是亮度的变化。每幅图的分辨率是80X 80。 图l所示为FERET人脸库中某人的7幅人脸图像。 一●第6卷第1期 2011年1月 PCA在人脸识别中的改进算法 57 提高。 一一 在分类器的设计上,采用特征融合与不采用特征融 从2种分类方法的对比结果可以看出,加入特征融 合的方法进行实验,得到的实验结果如图4所示。 合的方法能够在一定范围内提高识别率。 对标准训练矩阵进行分类处理,进而得到的特征向 图2■ 实验库人脸实例 Fig.2 Face database instance FERET数据库中每张图片都有1个类别标号,代 表不同因素下采集的图片,如标号00012 930831 fa a ,其中00012表示类别ID,93083 1表示样本生成时间, fa表示人脸偏转角度,a表示光照强度。本文的实验就 是根据不同的图像标号来划分数据集合,从而达到外在 因素较少时,数据尽可能地满足简单的高斯分布。 将每类的前4幅图作为训练样本,后3幅图作为测 试样本,则训练样本总数为800幅,测试样本为600幅。 首先,利用传统的PCA算法,即对标准训练矩阵(1.1 节中的神不进行分块,按照第1节所述方法计算出不 同能量系数(主元个数)下的识别率。再次,利用改进 的PCA算法,分别对下列2种隋况进行实验:①将200 个类别的前2幅图组合为个数为400的训练样本矩阵1, 将200个类别的第3、4幅图组合为个数为400的训练 样本矩阵2,这样就将传统PCA中的标准训练矩阵 分为2个子训练矩阵。对这2个子训练矩阵进行计算得 到变换矩阵 ,, ,再利用2-2节所述方法,将测试图 片 映射为 将所有训练图片 f=1,2,…,800)映射为 卢1,2,…,800),经特征融合后,测试向量磊的特征向 量为[v・ ,Zx],同样方法得到训练向量 的特征向量为 , ,最后利用余弦分类器对其进行分类。②同理 将训练样本的200个类的800幅图片按照类别分成4个 数量为200的子训练矩阵,然后用同样的方法进行计算 识别率。经过实验,当进行特征融合时,分成2个子陕 时v=255;分成4个子块时v=236,得到的实验结果如 图3所示。 比较不同能量系数(主元个数)下的识别率,改进 的PCA.及其分类方法与传统方法相比,识别率有较大 量能够更好反映数据。在此基础上进行特征融合,能在 一定程度上改善识别率。 图3基于余弦距离的识别结果 Fig.3 Result based on cosine distance 图4加特征融合的实验结果 Fig.4 Result based on feature fusion 4结论 提出了推广的PCA的人脸识别方法,其本质是通 过对标准训练矩阵按照不同类别做分块,并对其子块分 别作PCA,抽取子块的主元。这是为了使影响因素较小, 更接近于高斯分布。在分类器的设计上,对特征向量进 行融合,提高了不同子块之间的相关性,在一定范围内 能够对识别率进行提升。本实验使用环境为Microsoft 58 中国科技论文在线SClENCEPAPER ONLINE 第6卷第1期 2011年1月 WindowsXP,硬件配置为奔腾4,3.0GHzCPU的计算 Xue Yong.Several linear and nonlinear feature exwdctton and face 机,优化算法采用Mat1ab软件编写。 recogniiton【D].Nanjing:Nan.jnig University of Science,2004.(in Chinese) 在试验中发现,对同一数据库,对样本矩阵采用不 同的分块,获得的最高识别率一般不同,如何寻求最佳 分块方式有待进一步研究。另外,在进行特征融合后, 如何选择合适的参数v也是一个待解决的问题。 『4] 边肇祺,张学工.模式识别[M】.第2版.北京:清华大学出版 社,1999. Bian Zhaoqi,Zhang Xuegong.Pattern Recognition[『川.Beijing: Tsin曲ua University Press,1999.(n ichinese) [5】 陈伏兵.人脸识别中鉴别特征抽取若干方法研究[D].南京:南 京理工大学,2006. Chen Fubing.Some face recognition feature extraction method of [参考文献](References) 【lJ ZhaoWChellappa I ̄ill P点et a1.Facerecognition':8litena ̄ survey[J】.Acm Computing Sur ̄eys,,2003,35(4):399-459. identiifcation 09].Nanjing:NanjingUniversiyofScitncee,2006.(in Chinese) [2]Turk M,Pentland A.Face recognition using eigenfaees【C1∥lEEE Cont ̄ence on Computer Visin and Patotern Recognition.H&vaii Maui:IEEE,1991:586—590. [6]Turk M,Pentland A.Eigenfaces for recogniiton[J].Journal of Cognitive Neuroscinces,1991,3(1):77-e86. 【7] Zhou Jiliu,Zhou Ye.Research advances on the theory of face [3] 徐勇.几种线性与非线性特征抽取方法及人脸识别应用fDJ.南 京:南京理工大学,2004. recognition[J].Journal of Computer Aided Design and Computer Graphics,1991,l1(2):180一l84. (L接第53页) [6] 张丽琼,李研,张孝杰.利用小波包提取咏象信号特征值的方法 [JJ.北京生物医学工程,2005,24(3):214-216. ZhangLiqiong,LiYan,ZhangXiaojie,Amethodto extractlhe feature ofthe pulse sinalg based onthewavelet packet明.Beijing BiomedicalEngineering,2005,24c3):214-216.(nChiinese) [7]XiaChunming,LiuRui,nYah,et a1.Wristpulsefeature佃 abi L11]王丰,苏振伦,黄靖香,等.鼻粘膜呼吸区上皮细咆原代培养模 型的建立和纤毛运动频率的测试川.临床耳鼻咽喉科杂志,2000, 14(81:370-372. Wang Feng,Su Zhenlun,Huang Jinxiang,et a1.Culture ofhuman nasal respiratory epithelial cells in serum free mediumsupplemented wih thormones nd agrowth factors nd ameasurement ofhuman nasal analysis via Spectral decompositi ̄Shanghai,2009:1-4. [C]//Bioinfortnatics and ciliary motiliy usitng video microscopy阴.Journal of Clniialc Otorhinolaryngology,2000,l4(8):370-372.(inChinese) Biomedical Engineering,2009.3rd International ConferenCe on [12]王炳和,相敬林.基于神经网络方法的人体脉象识别研究 .西 北工业大学学报,2002,20(3):454_457. Wang Binghe,Xiang Jinglin.ANN recognition of TCM pulse state [8】 王炳和,郭红霞.从脉搏信号中准确提取呼吸和心率信息的新方 法[J]_陕西师范大学学报:自然科学版,2005,33(1):53-55. WangBinghe,GuoHongxing.Exlaracting respirationfrequency and [J】.Journal of Northwestern Polytechnic University,2002,2o(3): 454457.(n iChinese) heart rate from a pulse明.Journal of Shanxi Normal Universiy:t Natural Science,2005,33(1):53—55.(ni Chinese) 【13】岳沛平,李训铭.基于小波分析和BP神经网络识别的中医脉象 信号辨识系统[J].计算机与现代化,2005,124(12):1-4. Yue Peiping,Li Xunming.System for recogniiton of Chinese medical pulse signal based on wavelet nalaysis and back propagation [9] 王炳和,职利琴.高血压患者脉搏信号的采集与频谱分析 .声 学技术,1999,18(3):135—138. Wang Binghe,Zhi Liqin Hypertension pulse signal acquisition and specwum analysis[J].Acoustic Technology,1999,l8(3):135—138. (inChinese) neural network recogniiton .Computer nd aModernization,2005, 124(12):I-4.(in Chinese) [10]柯学尧,欧阳华甫,王洪图,等.用驻波观点研究脉和脉象的产 生机制 .中国中医药信息杂志,2006,13(6):3-5. Ke Xueyao,Ouyang Huafu,Wang Hongtu,et a1.Research generatng mechaniism of pule by stsanding wave .Chinese [14]李春字.基于径向基函数神经网络的中医脉象信号检测fJ)].重 庆:重庆大学,2006. Li Chunyu.Detection ofpulse signals based on RBF neural network fD】.Chongqing:Chongqing University,2006.(in Chinese) [1 5]Sergios Theodoriridis, Konslantunos Koulroumbas Paltem recognition IM].Third Edition.Beijing:China Machine Press,2006. Jo ̄al of Information Oil Tmdition Chinese Medicine,2006,】3(6): 3-5.(in Chinese)