第２６卷第５期 计算机技术与发展 ＣＯＭＰＵＴＥＲ ＴＥＣＨＮＯＬＯＧＹ ＡＮＤ ＤＥＶＥＬＯＰＭＥＮＴ ２０１６年５月 Ｖ０１．２６ Ｎｏ．５ Ｍａｙ ２０１６ 广义贝叶斯字典学习Ｋ—ＳＶＤ稀疏表示算法 周飞飞，李 雷 （南京邮电大学理学院，江苏南京２１００２３） 摘要：稀疏字典学习是一种功能强大的视频图像稀疏表示方法，在稀疏信号处理领域引起了广泛关注。Ｋ—ＳＶＤ算法在 稀疏表示技术上取得了巨大成功，但遇到了字典原子未充分利用的问题，而稀疏贝叶斯字典学习（Ｓｐａｒｓｅ Ｂａｙｅｓｉａｎ Ｄｉｃｔｉｏｎａ— ｒｙ Ｌｅａｒｎｉｎｇ，ＳＢＤＬ）算法存在稀疏表示后信号原子不稀疏和不收敛的缺点。广义贝叶斯字典学习（Ｇｅｎｅｒａｌｉｚｅｄ Ｂａｙｅｓｉａｎ Ｄｉｃ— ｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ，ＧＢＤＬ）Ｋ－ＳＶＤ算法提供了一种新型稀疏表示系数更新模式，使得过完备字典稀疏学习算法逐步收敛的 同时训练向量足够稀疏。仿真结果表明，对有损像素和压缩传感这两种视频图像帧进行稀疏化，ＧＢＤＬ Ｋ—ＳＶＤ算法表示 的视频图像帧的重构效果与ＳＢＤＬ Ｋ—ＳＶＤ算法相比有明显的提高。 关键词：稀疏贝叶斯学习；视频图像稀疏表示；字典学习；Ｋ—ＳＶＤ算法 中图分类号：ＴＰ３０１．６ 文献标识码：Ａ 文章编号：１６７３—６２９Ｘ（２０１６）０５—００７１—０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３—６２９Ｘ．２０１６．０５．０１５ Ｋ－ＳＶＤ Ｓｐａｒｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｏｆ Ｇｅｎｅｒａｌｉｚｅｄ Ｂａｙｅｓｉａｎ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ ＺＨＯＵ Ｆｅｉ－ｆｅｉ，ＬＩ Ｌｅｉ （Ｃｏｌｌｅｇｅ ｏｆ Ｓｃｉｅｎｃｅ，Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ， Ｎａｎｊｉｎｇ ２１００２３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｓｐａｒｓｅ ｄｉｃｔｉｏｎａｒｙ ｌｅａｒｎｉｎｇ ｉｓ ａ ｐｏｗｅｒｆｕｌ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ｖｉｄｅｏ ｉｍａｇｅ ｗｈｉｃｈ ｈａｓ ａｔｔｒａｃｔｅｄ ｍｕｃｈ ａｔｔｅｎｔｉｏｎ ｉｎ ｅｘ— ｐｌｏｉｔｉｎｇ ｓｐａｒｓｉｔｙ ｉｎ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ．Ｔｈｅ Ｋ－ＳＶＤ ａｌｇｏｒｉｔｈｍ ｈａｓ ａｃｈｉｅｖｅｄ ｓｕｃｃｅｓｓ ｉｎ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｂｕｔ ｓｕｆｆｅｒｓ ｆｒｏｍ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｕｎｄｅｒｕｔｉｌｉｚａｔｉｏｎ ｏｆ ｄｉｃｔｉｏｎａｒｙ ａｔｏｍｓ．Ｓｐａｒｓｅ Ｂａｙｅｓｉａｎ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ（ＳＢＤＬ）ａｌｇｏｒｉｔｈｍ ｅｘｉｓｔｓ ｔｈｅ ｄｒａｗｂａｃｋｓ ｏｆ ｎｏｎ—ｓｐａｒｓｅ ｒｅｐｒｅ－ ｅｎｔｓａｉｔｏｎ ａｎｄ ｃｏｎｖｅｒｇｅｎｃｅ ｏｆ ｓｉｇｎａｌ ａｔｏｍｓ．Ｂｕｔ Ｇｅｎｅｒａｌｉｚｅｄ Ｂａｙｅｓｉｎ Ｄｉａｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ（ＧＢＤＬ）Ｋ—ＳＶＤ ａｌｇｏｒｉｔｈｍ ｏｆｆｅｒｓ ａ ｎｏｖｅｌ ｕｐ－ ｄａｔｅ ｍｏｄｅ ｏｆ ｓｐａｒｓｅ ｅｐｒｒｅｓｅｎｔ ｃｏｅｆｉｃｉｆｅｎｔ ｔｏ ｍａｋｅ ｔｈｅ ｌｅａｒｎｉｎｇ ｌｇｏｒｉａｔｈｍ ｇｒａｄｕａｌｌｙ ｃｏｎｖｅｒｇｅｎｔ ａｎｄ ｇｉｖｅ ｔｈｅ ｔｒａｉｎｉｎｇ ｖｅｃｔｏｒｓ ａ ｐｅｒｆｅｃｔ叩一 ｏｒｔｐｏｎｉｔｙ ｔｏ ｂｅｃｏｍｅ ｅｘｔｒｅｍｅｌｙ ｓｐａｒｓｉｔｙ ｏｖｅｒ ｔｈｅ ｏｖｅｒｃｏｍｐｌｅｔｅ ｄｉｃｔｉｏｎａｒｙ．Ｔｈｅ ｓｉｍｕｌａｔｉｏｎ ｅｘｐｅｒｉｍｅｎｔ ｏｆ ｔｗｏ ｃａｓｏｓ ｗｈｅｒｅ ｉｍａｇｅ ｆｌａｍｅｓ ｗｉｈ ｍｉｔｓｓｉｎｇ ｐｉｘｅｌｓ ａｎｄ ｏｎｅｓ ｂａｓｅｄ ｏｎ ｃｏｍｐｒｅｓｓｉｖｅ ｅｎｓｉｓｎｇ ｓｈｏｗｓ ｈａｔ ｔｈｅ ｔｅｆｉｃｉｆｅｎｃｙ ｏｆ ｓｐａｒｓｅｌｙ ｅｐｒｒｅｓｅｍ ｂｙ ＧＢＤＬ Ｋ—ＳＶＤ ｌｇｏｒａｉｔｈｍ ｉｓ ｂｅｔｔｅｒｔｈａｎ ＳＢＤＬＫ—ＳＶＤａｌｇｏｒｉｔｈｍ． Ｋｅｙ ｗｏｒｄｓ：ｓｐａｒｓｅ Ｂａｙｅｓｉａｎ ｌｅａｒｎｉｎｇ；ｖｉｄｅｏ ｉｍａｇｅ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ；ｄｉｃｔｉｏｎａｒｙ ｌｅａｒｎｉｎｇ：Ｋ—ＳＶＤ ａｌｇｏｒｉｔｈｍ Ｏ 引 言 近年来，信号的过完备字典…稀疏表示已成为重 要的科研议题并引起了广泛的研究和讨论。信息时代 下的信息获取和处理方法已然成为一个是重要的议 题。现实世界中，信息采样技术已成为数字信息和沟 通的重要桥梁，高维数据的稀疏表示是机器学习和计 算机视觉领域 所关注的一个热门话题。它的基本设 认为是输入信号在某一稀疏条件下的良好逼近。这些 稀疏表示方法在压缩传感、图像去噪、视频稀疏编码、 特征提取等重要应用中取得了巨大的成功。过完备特 性意味着它所拥有的原子个数大于原子的维度，一组 基信号的过完备集合的目标是用字典原子的稀疏组合 线性地表示输入信号。过完备字典的最大优点是在有 噪环境或退化信号条件下的鲁棒性，更重要的是，它在 字典中引入更多种形式导致了输入信号的各种不同稀 疏表示。 网络出版时间：２０１６—０５—０５ 想是自然图像本身是稀疏信号，也就是说，当使用一组 过完备基来线性表示输入信号时，获得的对应系数被 收稿日期：２０１５—０７—２５ 修回日期：２０１５一ｌ１一ｏ５ 基金项目：国家自然科学基金资助项目（６１０７１１６７，６１３７３１３７）；江苏省研究生科研创新计划项目（ＫＹＺＺ＿０２３３） 作者简介：周飞飞（１９９０一），女，硕士研究生，研究方向为非线性分析及应用；李雷，博士，教授，研究方向为智能信号处理和非线性科学及其 在通信中的应用。 网络出版地址：ｈｔｔｐ：／／ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ｋｅｍｓ／ｄｅｔａｉｌｆ６１．１４５０．ＴＰ．２０１６０５０５．０８１７．０５０．ｈｔｍｌ ·７２· 计算机技术与发展 第２６卷 过去几年中，要提出最好的稀疏表示方式是一个 为指出ｙ中哪些分量使用字典原子ｄ ，引入索引 被广泛研究的困难议题 。Ｋ—ＳＶＤ算法 是一种迭 集１．０ ＝｛ｉ ｌ １≤ｉ≤Ｎ， ；（ｉ）≠０｝，提取出行向量 ；中 所对应的非零值，得到向量 的长度为Ｊ Ｊ。相似 地获得当前使用字典原子ｄ 的信号原子构成的矩阵 代算法，优化迭代步骤分为两步：样本稀疏编码，这是 基于固定的字典原子；其次是更新字典原子，使该字典 更好地适应数据。稀疏贝叶斯字典学习（Ｓｐａｒｓｅ Ｂａｙｅｓｉａｎ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ，ＳＢＤＬ）算法是基于稀疏 表示信号的最大后验（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒｉ，ＭＡＰ）， 和从 中选择对应于 的列组成的Ｅ：。那么方 程（１）中的目标函数可以被式（３）替换： ｍ．ｉｎ。Ｉｌ Ｅ：一ｄｋＸ ； （３） 它可以加入Ｋ—ＳＶＤ算法的第一步来改善过完备学习 词典的自适应性。文中提出一种广义稀疏贝叶斯字典 最后通过ＳＶＤ算法关键步骤（Ｅ：＝ＵＡ ）来解 学习（Ｇｅｎｅｒａｌｉｚｅｄ Ｂａｙｅｓｉａｎ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ，ＧＢ— ＤＬ）算法来扩展和修改ＳＢＤＬ算法的缺陷，证明了改 进算法的可行性和有效性。 １ 稀疏贝叶斯字典学习Ｋ－ＳＶＤ算法综述 １．１ Ｋ－ＳＶＤ算法 给出训练信号集合的矩阵Ｙ∈Ｒ ，其列由 ） 。组成，使用一个过完备字典矩阵Ｄ Ｅ Ｒ （Ｋ＞ ｎ），其列由Ｋ个标准信号原子｛ｄ ）Ｋ 组成，则信号Ｊ， 能够被表示为这些原子的稀疏线性组合 ］。假设 ∈ 删是一个稀疏矩阵，包含信号ｙ的对应稀疏表示系 数，那么要求解的问题就是去寻找一个最适合的字典 Ｄ，得到给出的训练信号集合ｙ的稀疏表示ｘ，如 式（１）： ａｒｉｎ｛ｌ ｌＹ‘一Ｄｘｉ ｝，ｓ．ｔ．１｛ ｛Ｉｌ０≤ ，ｉ＝１，２， …，Ｎ （１） 其中：ｌｌ·ｌｌ 为矩阵的２一范数； 为稀疏表示 系数向量中的非零元素的最大个数。 首先是Ｋ－ＳＶＤ稀疏编码阶段，要解决问题（１）， 产生一个随机标准化列的初始字典Ｄ。，通过固定字典 不变而产生稀疏矩阵 。也就是找出每个训练信号Ｙ 对应于当前字典Ｄ的稀疏表示 。所选择的稀疏编 码算法必须非零元素的最大数量的解决方案，因 此通常使用ＯＭＰ算法 来得到稀疏表示矩阵 。 第二阶段是更新字典和稀疏系数，固定所有其他 列，每次只更新字典Ｄ中一列。假设用ｄ （Ｄ的第ｋ 列）来讨论， 的第ｉ行表示对应于ｄ 的系数 ，那么 目标函数方程（２）可以写成如下形式： Ｋ １ ｌ ｌＹ—Ｄｘ ＝ｌｌｙ一∑ Ｊ １ ＝ 『Ｉ（ｙ一∑ ）一ｄｋＪ ：＝ ｌｌ层 一ｄ ；ｌＩ； （２） 其中，矩阵Ｅ 表示字典中』、ｒ个原子中除了第ｋ列 原子与信号原子矩阵之间的误差。因此，这个步骤是 去寻求一个新的ｄ 和 ；，从而来最小化方程（２）的目 标函数。 决更新字典原子 和稀疏表示系数 这个问题。字 典的第ｋ列ｄ 的更新是通过提取矩阵 的第一列， 的更新是通过 的第一列和最大的奇异值△（１，１）相 乘而得到。字典原子有 个并且要对每个原子进行奇 异值分解，因此将该稀疏编码方法简单命名为Ｋ—ＳＶＤ 算法。 １．２ ＳＢＤＬ算法 ＳＢＤＬ算法是以最大后验概率为基础的算法，被用 于稀疏基恢复。稀疏贝叶斯模型是通过一种特定的先 验参数来优选稀疏系数组合的贝叶斯处理过程。基于 高斯似然模型［７ 的稀疏贝叶斯字典学习方式表示为： ｐ（ｆ ｌ ； ）＝（２１ｒｔｒ ）一丁ｎ ｅｘｐ（一 Ｉ ｌｊ，一Ｄｘ ｌｌ ） ／－Ｏ＂ （４） 目标是最大化方程（４）中的向量 和常量１７＂ 的似 然估计。为了避免模型中与训练样本数量相等的参数 数量造成严重的匹配问题，添加一个满足先验概率分 布的参数，得到的满足零均值高斯分布的向量 的先 验分布为： Ｋ ｐ（ｘ ｌ ）＝ⅡⅣ（ ｉ １ ０，ａ，－ ） （５） 其中， ＝（Ｏｔ。， 一， ）是一个由 个超参数 组成的向量。 假设噪声参数 和超参数向量 满足Ｇａｍｍａ先 验概率分布，可以得到方程（６）中向量Ｘ的后验概率： ｐ（ｘ ｆ Ｙ， ，ｏｒ。）＝（＾ ２丌）一 Ｉｎ Ｉ ｅｘｐ｛一÷（ｒ Ｉ 一 Ｌ 二 ）Ｔ －。（ 一 ）｝ （６） 其中， ＝ｏｒ Ｉ＋ＤＡＤＴ，Ｉｔ＝ｏｒ ，ＤＴｊ，， ＝ （ｏｒＩ２Ｄ Ｄ＋Ａ ）～，Ａ为以先验ａｏ， 一， Ｋ为对角 的Ｋ×Ｋ大小的矩阵。 根据方程（６）和ｐ（ｔｒ， Ｉ ）％Ｐ（Ｙ Ｉ ， ）ｐ（ａ）ｐ（ｏｒ ），通过式（７）更新超参 ： ＩＩ ． （７） 、…一 二 ｎ一 （ｉ， ）（１一 （ｉ， ）） 第５期 周飞飞等：广义贝叶斯字典学习Ｋ—ＳＶＤ稀疏表示算法 ·７３· ２广义贝叶斯字典学习Ｋ－ＳＶＩ）算法（ＧＢ－ ＤＬ Ｋ—ＳＶＤ） ＳＢＤＬ Ｋ－ＳＶＤ算法存在稀疏表示后信号原子不稀 （１）计算矩阵 的协方差矩阵：置＝［，一Ａ寺 （ＤＡ十）ｔＤ］Ａ。 （２）估计向量 ： ＝Ａ寺（ ｌＡＴ１） 。 疏和不收敛的缺陷，于是文中提出了广义贝叶斯字典 学习（ＧＢＤＬ）Ｋ—ＳＶＤ算法。通过研究 和ｏｒ 的估计 方法，应用最大期望算法 来最大化ｐ（ｙ Ｉ ，ｏｒ ），从 （３）更新噪声方差和超参数： （ｏｒ ） ＝ 而找到 和 ２ＭＬ。将权值 认为是变量，而后最 大化层 ， ，【ｐ（Ｊ，Ｉ ， ， ）】，其中Ｐ（ｙ Ｉ ， ，ｏｒ ）＝ Ｉ Ｉｊ，一Ｄ‘，＿ ’ ｌ ＋Ｉ ∑［１一ａ ∑ （ ， ）】 ，‘ ： Ｐ（ｙ Ｉ ， ）ｐ（ｘ，ｏｒ）表示完备数据对ｂ， ）的概率。 （ｉ，ｉ）＋ 计算第１Ｉ｝次迭代的 【 ２］＝（置）“＋ ，并获得 如方程（８）所描述的 的新一轮迭代方式。 “ ＝ａｒｇｍａｘＥ ｆｙ。 ， 【ＪＰ（Ｊ，， ，口， ）】＝ 。ｍ，， 【 ２】 （８） 相似地，对于 的更新规则可以被如方程（９）简 单地合成表示为： （ ）（“。）＝ ｌ Ｙ一 ｌ ｌ＋（ｏ－ ）㈩∑［１一（ 一 （ ， ）】 ，ｌ （９） ＳＢＤＬ需计算Ｋ×Ｋ大小的矩阵 的逆，其复杂度 为０（ｇ３），极端情况下 太大使求逆过程可能是无结 果的。为缓解这个问题，通过式（１０）计算置： ＝（ －２Ｄ Ｄ＋Ａ－１）－１＝Ａ—ＡＤＴ －。ＤＡ （１０） 因此减少算法复杂度为Ｄ（ｎ ），这在Ｋ》ｎ时有 明显优势。利用线性代数的直观结果，可以满足这种 需求。通过下列方程计算： ： ＝ ＝Ａ专（ＤＡ÷） ： ＝【，一ＡＴ（ＤＡ寺） Ｄ】Ａ 其中，（·） 表示Ｍｏｏｒｅ—Ｐｅｎｒｏｓｅ逆。 因此明显知道 所对应的 的稀疏概况和观察到 所有的 都是可行的，并且如果Ｙ是Ｄ的跨度且所有的 被初始化为非零值，这将永远是可行的。 那么，ＧＢＤＬ Ｋ—ＳＶＤ算法关键步骤如下所述： 步骤１（输入）：数据样本集 ）Ⅳ－。，整个算法的 最大迭代次数 ，稀疏编码的最大迭代次数ｓ ，稀 疏化阈值 。 步骤２（初始化）：过完备字典矩阵Ｄ∞ Ｅ足 ， 先验估计噪声方差 ，超参数向量 ＝（ 。， 一， ａ ），并设置Ｊ＝０和Ｓ＝０。 步骤３（主程序）：执行Ｊ＝Ｊ＋１，重复如下步骤直 到满足收敛或停止准则Ｊ≥ １）执行Ｉｓ＝Ｓ＋１，重复如下步骤直到满足停止准 则Ｓ≥Ｓ ： ２）如果ＩＩ ｌｌ＞７＂ｏ，继续用ＯＭＰ算法来优化向 量 ，直到满足Ｉｌ ｌｌ≤ 。 ３）更新字典，更新Ｄ“ 中 ＝１，２，…， 的每 一列。 （１）定义被使用的原子对应的下标集埘 ＝｛ｉＩ １≤ ｉ≤Ⅳ， ；（ｉ）≠０｝； （２）计算全局表示误差矩阵 ＝ｙ一∑哆 ； （３）对应于 来收缩 ，从而获得Ｅ：； （４）ＳＶＤ分解 ： ＝ ’，Ｔ； （５）更新字典列和稀疏系数向量：ｄ ＝ｌＩ。， ＝ ｌ·厶（１，１）。 步骤４（输出）： ＝【 ， ，…， ： 】 和Ｄ ＝Ｄ‘ 一。 其中：Ｄ∞ 满足ｆ：标准化列； 表示非零实体的 最大数量； （ｉ，ｉ）表示 的协方差矩阵的第ｉ个对角 元素； ，表示Ｕ的第一列；ｌ，。表示 的第一列； △（１．１）表示△中对角元素的首元。 ３实验仿真和分析 ３．１字典学习结果对比分析 文中仿真实验使用由一组图像帧组成的视频序列 作为样本，从由５１个ｙ帧组成的视频信号中提取出大 小为１７６ Ｘ １４４的一组图像帧¨ 。为提高视频图像帧 的稀疏度，采用重叠块滑动窗口的块算法来获得分块 图像。从图像帧获得多个８ Ｘ ８大小的重叠块，并将每 个依次重新排列成维数是６４的向量，最后以这些向量 为列构成６４ Ｘ ２３ １５３大小的矩阵。选择过完备字典 的大小为６４ Ｘ ２５６，设定ＳＢＤＬ算法和ＧＢＤＬ算法的 Ｓ…＝１０，．，一＝１０。经过视频序列分解和分块图像处 理后，分别用ＳＢＤＬ Ｋ—ＳＶＤ算法和ＧＢＤＬ Ｋ—ＳＶＤ算法 对图像帧进行稀疏编码，获得的基于图像块训练字典 的结果如图１所示。 从图１可以看到，通过仿真实验，由ＳＢＤＬ Ｋ－ＳＶＤ 稀疏编码训练后的块信号，虽然训练信号的每一块的 特点大致能够表现出来，但图像帧的训练特征不明显。 第５期 周飞飞等：广义贝叶斯字典学习Ｋ—ＳＶＤ稀疏表示算法 ·７５· ４结束语 文中通过深入研究过完备稀疏字典学习的稀疏表 示方法，提出了ＧＢＤＬ Ｋ—ＳＶＤ算法。对稀疏编码步骤 做出改进，改进协方差矩阵的计算和稀疏向量的估计 方式，进而改进了常量ｏｒ 和 的更新模式，提高了重 构精度，加快了收敛速度。此外，仿真实验表明，在有 损像素的图像帧和基于压缩传感的图像帧两种情况 下，视频图像帧通过ＧＢＤＬ Ｋ—ＳＶＤ算法稀疏表示后的 重构效率高于ＳＢＤＬ Ｋ—ＳＶＤ稀疏字典学习算法。总 而言之，改进的过完备字典学习始于非稀疏表示信号， 并通过迭代过程逐步收敛到一个稀疏表示系数。实验 结果说明了提出算法的正确性并证实了其有效性。 参考文献： ［１］Ｄｅｌｇａｄｏ Ｋ Ｋ，Ｍｕｒｒａｙ Ｊ Ｆ，Ｒａｏ Ｂ Ｄ．Ｄｉｃｔｉｏｎａｒｙ ｌｅａｒｎｉｎｇ ａｌｇｏ· ｉｒｔｈｍｓ ｆｏｒ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ［Ｊ］．Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ， ２００３，１５（２）：３４９－３９６． ［２］Ｍａｉｒｌａ Ｊ，Ｂａｃｈ Ｆ，Ｐｏｎｃｅ Ｊ，ｅｔ ａ１．Ｏｎｌｉｎｅ ｌｅａｒｎｉｎｇ ｏｆｒ ｍａｔｉｒｘ ｆａｃ· ｔｏｒｉａｓｔｉｏｎ ａｎｄ ｓｐａｒｓｅ ｃｏｄｉｎｇ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ，２０１０。１ １：１９—６０． ［３］Ｓｏｎｇ Ｘ Ｎ，Ｕｕ Ｌ，Ｙａｎｇ Ｘ Ｂ，ｅｔ １ａ．Ａ ｐａｒａｍｅｔｅｒｉｚｅｄ ｆｕｚｚｙ ａｄａｐ－ ｔｉｖｅ Ｋ－ＳＶＤ ａｐｐｒｏａｃｈ ｆｏｒ ｔｈｅ ｍｕｌｉｔ－ｃｌａｓｓｅｓ ｓｔｕｄｙ ｏｆ ｐｕｒｓｕｉｔ ａｌｇｏｒｉｔｈｍｓ［Ｊ］．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２０１４，１２３：１３１—１３９． ［４］ Ａｈａｒｏｎ Ｍ，Ｅｌａｄ Ｍ，Ｂｍｃｋｓｔｅｉｎ Ａ．Ｋ－ＳＶＤ：ａｎ ａｌｇｏｉｒｔｈｍ ｆｏｒ ｄｅｓｉｇｎｉｎｇ ｏｖｅｒｃｏｍｐｌｅｔｅ ｄｉｃｔｉｏｎａｒｉｅｓ ｆｏｒ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２００６，５４（１１）： ４３ｌ１—４３２２． ［５］Ｔｒｏｐｐ Ｊ Ａ，Ｗｒｉｇｈｔ Ｓ Ｊ．Ｃｏｍｐｕｔａｔｉｏｎａｌ ｍｅｔｈｏｄｓ ｏｆｒ ｓｐａｒｓｅ ｓｅｌｕ· ｔｉｏｎ ｏｆ ｌｉｎｅａｒ ｉｎｖｅｒｓｅ ｐｒｏｂｌｅｍｓ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ， ２０１０，９８（６）：９４８－９５８． ［６］Ｔｒｏｐｐ Ｊ Ａ，Ｇｉｌｂｅｒｔ Ａ Ｇ．Ｓｉｎｇａｌ ｒｅｃｏｖｅｙｒ ｆｒｏｍ ｐａｒｔｉｌａ ｉｎｆｏｒｍａ－ ｔｉｏｎ ｖｉａ ｏｒｔｈｏｇｏｎａｌ ｍａｔｃｈｉｎｇ ｐｕｒｓｕｉｔ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ，２００７，５３（１２）：４６５５—４６６６． ［７］Ｂａｂａｃａｎ Ｓ Ｄ，Ｍｏｌｉｎａ Ｒ，Ｋａｔｓａｇｇｅｌｏｓ Ａ Ｋ．Ｂａｙｅｓｉａｎ ｅｏｍｐｒｅｓ． ｓｉｖｅ ｓｅｎｓｉｎｇ ｕｓｉｎｇ ｌａｐｌａｃｅ ｐｒｉｏｒｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１０，１９（１）：５３－６３． ［８］Ｚｈｏｕ Ｆ Ｆ，Ｌｉ Ｌ．Ｍｏｄｉｆｉｅｄ ｓｐａｒｓｅ Ｂａｙｅｓｉａｎ ｄｉｃｉｔｏｎａｒｙ ｌｅａｒｎｉｎｇ Ｋ－ＳＶＤ ａｌｇｏｒｉｈｔｍ ｆｏｒ ｖｉｄｅｏ ｉｍａｇｅ ｓｐａｒｓｅ ｒｅｐｒｅｅｓｎｔａｔｉｏｎ［Ｊ］． Ｊｏｕｎｒａｌ ｏｆＣｏｍｐｕｔａｔｉｏｎａｌ Ｉｆｎｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ，２０１５，１１（１２）： ４５６７－４５８０． ［９］Ｗｉｐｆ Ｄ Ｐ，Ｒａｏ Ｂ Ｄ．Ｓｐａｒｓｅ Ｂａｙｅｓｉａｎ ｌｅａｒｎｉｎｇ ｏｆｒ ｂａｓｉｓ ｅｓｌｅｃ— ｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｉｎｇａｌ Ｐｒｏｃｅｓｓｉｎｇ，２００４，５２ （８）：２１５３—２１６４． ［１０］Ｓｕｎ Ｙ Ｐ，Ｘｕ Ｍ，Ｔａｏ Ｘ Ｍ，ｅｔ ａ１．Ｏｎｌｉｎｅ ｄｉｃｉｔｏｎａｒｙ ｌｅａｒｎｉｎｇ ｂａｓｅｄ ｉｎｔｒａ—ｆｒａｍｅ ｖｉｄｅｏ ｃｏｄｉｎｇ［Ｊ］．Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ｃｏｍ－ ｍｕｎｉｃａｔｉｏｎｓ，２０１４，７４：１２８１—１２９５． ［１ １］Ｄｏｎｏｈｏ Ｄ Ｌ．Ｃｏｍｐｒｅｓｓｅｄ ｓｅｎｓｉｎｇ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｆｎｏｒｍａｔｉｏｎ Ｔｈｅｏｙｒ，２００６，５２（５）：１２８９－１３０６． ［１２］Ｚｈｏｕ Ｆ Ｆ，Ｌｉ Ｌ．Ｒｅｓｅａｒｃｈ ｏｎ ｃｌｉｐｐｉｎｇ ｔｈｒｅｓｈｏｌｄ ＳＡＭＰ ａｌｇｏ· ｒｉｈｔｍ ｂａｓｅｄ ｏｎ ｈｉｇｈ ｆｅｒｑｕｅｎｃｙ ｓｕｂ—ｂａｎｄ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ ［Ｊ］．Ｃｏｍｐｕｔｅｒ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ，２０１４，２４（５）：８３ —８６． ［１３］Ｄｏｎｏｈｏ Ｄ Ｌ，Ｔｓａｉｇ Ｙ，Ｄｒｏｉｒ Ｉ．Ｓｐａｒｓｅ ｓｏｌｕｔｉｏｎ ｏｆ ｕｎｄｅｒｄｅｔｅｒ－ ｍｉｎｅｄ ｓｙｓｔｅｍｓ ｏｆ ｌｉｎｅａｒ ｅｑｕａｔｉｏｎｓ ｂｙ ｓｔａｇｅｗｉｅｓ ｏｒｔｈｏｇｏｎａｌ ｍａｔｃｈｉｎｇ ｐｕｒｓｕｉｔ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｆｎｏｒｍａｔｉｏｎ Ｔｈｅｏ－ ｒｙ，２０１２，５８（２）：１￣４－１１２１． ［１４］Ｔｈｏｎｇ Ｔ，Ｇａｎ Ｌ，Ｎｇｕｙｅｎ Ｎ，ｅｔ １ａ．Ｓｐａｍｉｔｙ ａｄａｐｔｉｖｅ ｍａｔｃｈｉｎｇ ｐｕｒｓｕｉｔ ａｌｇｏｒｉｈｔｍ ｏｆｒ ｐｒａｃｔｉｃａｌ ｃｏｍｐｒｅｓｓｅｄ ｓｅｎｓｉｎｇ［Ｃ］／／Ｐｒｏｃ ｏｆ Ａｓｉｌｏｍａｒ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｓｉｎｇａｌ，ｓｙｓｔｅｍｓ ａｎｄ ｃｏｍｐｕｔｅｒｓ．Ｐａ－ ｃｉｉｆｃ Ｇｒｏｖｅ，Ｃａｌｉｆｏｎｒｉａ：［Ｓ．ｎ．］，２００８．
