第３８卷第４期 文章编号：１００３—２８４３（２０１２）０４－０６５４—０４ 西南民族大学学报・自然科学版 Ｊｏｕｍａｌ ｏｆ Ｓｏｕｔｈｗｅｓｔ Ｕｎｉｖｅｒｓｉｔｙ ｆｏｒ Ｎａｔｉｏｎａｌｉｔｉｅｓ・Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ 利用ＧＰＵ通用计算的同步层竞争算法研究 周伟，李萍 （西南民族大学计算机科学与技术学院，四川成都６１００４１） 摘要：传统神经网络优化算法相对于其它优化算法，具有求解精度高的优点，但也存在收敛速度慢、耗时长的问题． 神经网络同步更新迭代算法相比异步迭代方式，一般执行效率更高，也更利于结合并行计算技术来提高算法效率．ＧＰＵ 通用计算作为并行技术发展的代表之一，在并行处理能力上对同时期的多核ＣＰＵ更具优势．采用层竞争神经网络模型 可以用于解决特征绑定问题．通过图像分割实验结果表明，基于ＧＰＵ通用计算的同步更新层竞争算法，比基于ＣＰＵ计 算的同类算总体效率更高． 关键词：递归神经网络；并行计算；层竞争；图像分割 中图分类号：ＴＰ３９１ 文献标识码：Ａ ｄｏｉ：１０．３９６９￣．ｉｓｓｎ．１００３—２４８３．２０１２．Ｏ４－３３ 引言 目前，主流计算机中采用的处理器主要是处理器ＣＰＵ和图形处理器ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）．早 期，大部分的计算处理工作由ＣＰＵ完成，ＧＰＵ只负责图形图像的渲染工作．由于单核计算机性能提升有限，超 级计算机一般采用增加处理器的数量来提升整体计算性能．随着时间推移和技术进步，在单个处理器中放置多 个计算核的做法开始普及开来，计算机业界也由此迅速进入并行计算时代．目前几乎所有的个人计算机ＣＰＵ都 采用了多核处理器，而采用多核技术的ＧＰＵ在处理能力和存储器带宽上对同时期的多核ＣＰＵ，更具有明显优势， 在成本和功耗上也不需要付出太大代价．早期的ＧＰＵ计算实现非常复杂，随着２００６年支持Ｄｉｒｅｃｔ Ｘ的ＧＰＵ的 发布，基于ＧＰＵ的通用计算（Ｇｅｎｅｒａｌ Ｐｕｒｐｏｓｅ ＧＰＵ，ＧＰＧＰＵ）的开始走向成熟，ＮＶＩＤＩＡ在２００７年正式发布的 ＣＵＤＡ（Ｃｏｍｐｕｔｅ Ｕｎｉｉｆｅｄ Ｄｅｖｉｃｅ Ａｒｃｈｉｔｅｃｔｕｒｅ，计算统一设备架构）是第一种不需要借助图形学ＡＰＩ就可以使用类 ｃ语言进行通用计算的开发环境和软件体系．ＣＵＤＡ架构使得ＧＰＵ不仅能执行传统的图形计算，还能高效地执 行通用计算．目前，越来越多的软件开始支持ＧＰＧＰＵ，更多讨论可参见文献¨ Ｊ． 传统神经网络优化算法相对于其它优化算法，具有求解精度高的优点，但也存在收敛速度慢的问题．传统 的神经网络异步更新迭代算法，一次迭代只能更新一个或若干个神经元的状态，在面对大规模神经网络时，求 解过程耗时现象非常突出．而神经网络同步更新算法，一次迭代可以更新所有神经元的算法，在实际算法执行 速度上要更快，也更有利于结合ＧＰＧＰＵ提高算法的效率．本文实现了基于ＧＰＧＰＵ的一种同步层竞争迭代算法 （Ｓｙｎｃｈｒｏｎｏｕｓ ＣＬＭ，简称ＳＣＬＭ），并与文献中原先基于ＣＰＵ计算的ＳＣＬＭ算法进行了比较，实验表明前者执行效 率更高． １ 问题描述 收稿日期：２０１２－０４．１９ 作者简介：周伟（１９７７－），男，讲师，博士，主要研究方向为神经网络、模式识别，ｗｅｉ．ｚｈｏｕ．ｓｗｕｎ＠ｇｍａｉｌ．ｃｏｍ．李萍｛１９８２－），女，讲师， 博士，主要研究方向为微分方程稳定性和定性分析，ｌｉｐｉｎｇ １ ９８２ １ ２０４＠ｓｉｎａ．ｃｏｍ． 基金项目：国家自然科学基金青年科学基金项目（６１ １０５０６１），高校基本科研业务费专项资金项目（１ ＩＮＺＹＴＤ０４），高校基本 科研业务费专项资金项目（１ １ＮＺＹＢＳ０８）。 第４期 周伟等：利用ＧＰＵ通用计算的同步层竞争算法研究 ６５５ 层竞争模型（Ｃｏｍｐｅｔｉｔｉｖｅ Ｌａｙ Ｍｏｄｅｌ，简称ＣＬＭ）最早由Ｒｉｔｔｅｒ等提出，用于解决空间特征绑定（Ｓｐａｔｉａｌ ｆｅａｔｕｒｅ ｂｉｎｄｉｎｇ）［ｈ－］Ｊ￣［３＇４】．本文研究的层竞争离散模型如下：对于ｋ ０，ｆ－ｌ，．．．， 和 ＝１，．．．，，，有 Ｚｉａ（七＋１）＝（）－ｌ厂，厂 １ ｌ， ｆ ］ 、 Ｌ ｈＪ－Ｊ∑ｚ１ ， （七＋１）＋∑ ｚ１ （ ＋１）ｌ．Ｊ ＋Ｚｌ。（ ）ｌ／『 ， 层竞争模型包括，层用于特征提取的神经元，每一层上又分别有 个神经元．这里将层号记为 ，每一层 内的位置记为ｆ，则第 层第 个神经元记为２ｉ。．第 层上第ｆ和 神经元连接权值为 ，ｆ＝（ ）…又 被称为侧面连接（Ｌａｔｅｒａｌ Ｉｎｔｅｒａｃｔｉｏｎ）矩阵，用于存储含有需要感知分组的特征信息；ｈ，Ｊ，Ｃ为网络参数， 用于保证网络收敛．（，Ｉ函数为Ｌｉｎｅａｒ Ｔｈｒｅｓｈｏｌｄ（ＬＴ）激励函数，定义为： （ｚ）＝（ｏ－（ｚ１），ｏ－（ｚ２），．．．，ｏ－（ｚ ）） ， 这里向量Ｚ∈ ． ＣＬＭ的实质在于：在层和层之间产生层竞争关系，实现当网络收敛后，每一层被激活的神经元（对于 ＬＴ神经网络情况，就是该神经元最终输出大于零）代表一组被提取出的特征．在文献ｌ 中，Ｗｅｒｓｉｎｇ等设计了 一种连续类型基于ＬＴ神经元激励函数的递归神经网络，用于实现ＣＬＭ，并利用异步ＣＬＭ迭代方法 （Ａｓｙｎｃｈｒｏｎｏｕｓ ＣＬＭ，简称ＡＣＬＭ）用于特征绑定和边缘检测．在文献中【ｏ】，我们设计了一种同步ＣＬＭ迭代算法 （Ｓｙｎｃｈｒｏｎｏｕｓ ＣＬＭ，简称ＳＣＬＭ），在保持原有算法精度的，进一步提高了算法的效率．更多关于ＣＬＭ的讨论，请 参见文献ｌ ． ２ ＧＰＧＰＵ和ＣＰＵ计算的差异 和传统的ＣＰＵ计算不同，ＧＰＧＰＵ计算可以看作是ＣＰＵ＋ＧＰＵ的异构运算，由ＣＰＵ负责执行负责逻辑处理和事 务管理等不适合数据并行处理的任务，而由ＧＰＵ负责计算密集型的大规模并行数据计算工作．对于发掘计算性 能，ＧＰＧＰＵ在成本和性价比上具有明显的优势．但是要开发高性能的ＧＰＧＰＵ程序，开发人员还需要掌握并行算 法和ＧＰＵ硬件架构方面的知识．虽然ＧＰＵ计算在有些应用上实现了较ＣＰＵ运算百倍的性能超越，但由于ＧＰＵ运 算通常需要将大量数据存储在显存内，数据在主存和显存间的切换会对由于内存带宽的影响成为整个程序执行 的瓶颈，因此直接将现有ＣＰＵ算法转化为基于ＧＰＧＰＵ的算法，在性能上提高有限，需要根据具体硬件架构采取 不同的优化策略以获得更好的性能表现． ３ ＳＣＬＭ算法描述 ＳＣＬＭ￣表述如下： １）初始化所有Ｚｉａ（０）的值，选择为很小的正的随机数Ｚｉ。（Ｏ）∈（Ｏ，０＋ ）．计算ｆ的最大最小特征值 和 ｉ ．设定 ＝ ．。１．＊ｍａｘ ｍａｘ ｆ ｎＩ）， ｛喜 ） ，Ｃ＝Ｉ．０１＊Ｊ／，ｒ＝１．０１，Ｔｍ￣＝１．３５， ＝０．００１， ＝１， ＝。．１，Ｎ ｌ （ ）＝ｏ，Ｎｑｕｅｕｅ＝。，Ｎ￣ｕｅｕｅ＝１Ｏ０，七＝。， ＝１， ＝ Ｊ兀，（ＦＩ，为 Ｚ１１（０） ｈ ．．．ｈ ，×，维的全１矩阵），Ｚ（Ｏ）＝ ｚ １（ｏ）…Ｚｎｌ（０） ，Ｈｏ＝ Ｈ：Ｊ＿乙 Ｈ、 … ２）计算 ＝ ＋ 木厂水ｚ（尼）一ｚ（尼）木 ＋ｚ（ ）． ３）设置ｚ（ｋ＋１）＝ｍａｘ（（，Ｏ）．若 ＝＝１，则查找Ⅳｚ（ ），即Ｚ（尼＋１）中Ｚｉｅｔ（尼＋１）＝＝０的个数．如果 ６５６ 西南民族大学学报・自然科学版 第３８卷 Ｎｚ １、＜，２，则ｚ（ｋ）＝ｚ（ｋ＋１），ｋ＝ｋ＋１，进入步骤２；否则令 ＝０，进入步骤４． ４）如对所有 ， ，都满足Ｉｚ， （ ＋１）一ｚ， （尼）ｌ＜Ｐ，则进入步骤５；否则令ｚ（ｋ）＝Ｚ（ｋ＋１），ｋ＝ｋ＋１，进入 步骤２． ５）查找Ｚ０（尼＋１），这里定义Ｚ０（尼＋１）＝｛Ｚｉｏｔ（七十１） （七＋１）＞ ｝，Ｍｅａｎ（Ｚｏ（尼＋１））为ｚｏ（尼＋１）的期望， 计算Ｚ’（七＋１）＝Ｚｏ（ｋ＋１）一Ｍｅａｎ（Ｚｏ（ ＋１））．再查找Ｎｚｔ Ｎｚ・ ｌ１＝＝０，则结束退出；否则进入步骤６． ６）如果Ｎｑ ＝＝０，则有Ｎｑ ＝Ｎｑ 。＋１，Ⅳ ・（ ）＝Ｎｚ－（ ），进入步骤９；否则进入步骤７． ７）如果Ⅳｚ１－（ ）≠Ⅳｚ・（ ），则ＪＶｇ一 ＝ｏ，Ⅳ －入步骤８． （ ） 即Ｚ （ ＋１）中大于Ｏ．１／ｎ的项的个数．如果 Ⅳｚ－（ ），进入步骤９，否则设置Ｎｑ… ＝Ｎｑ… ＋１，进 ８）如果＾， … ＝＝Ⅳ １ ，则结束退出；否则进入步骤９． ｒ ｒ ９）设置Ｊ＝Ｊ ｒ， ＝ ＋ｏ．ｏ１，ｃ＝１．ｏ１水 ， 果 ＜ ，则进入步骤２；否则结束退出． ＝ 兀，， ＝ 乙 乙 ，ｚ（七）＝ｚ（ｋ＋１），ｋ＝ｋ＋１．如 ４实验验证 这里用图像分割实验做比较，使用６４×６４ Ｌｅｎａ图片作为实验对象．这里总特征数为６４×６４＝４０９６，层数 为５，这意味最后得到的分割图像将用５种灰度值进行表示，而ＣＬＭ共有６４×６４×５＝２０４８０个神经元．本文实 验的平台是Ｗｉｎｄｏｗ ７ Ｕｌｔｉｍａｔｅ Ｓｅｒｖｉｃｅ Ｐａｃｋ ｌ ６４位操作系统；ＣＰＵ为Ｉｎｔｅｌ ｉ７ ９６００ｋ ＣＰＵ，具有４个处理核心，支 持８线程数；８ＧＢ ＤＤＲ３ １３３３内存；ＧＰＵ运算的显卡为显存１ＧＢ的ＧＴＸ ５６０ Ｔｉ，具有３８４个ＣＵＤＡ核心；编程 工具为支持ＧＰＧＰＵ的ＭＡＴＬＡＢ ２０１０ａ． 作为参考，我们先给出ＡＣＬＭ算法一次实验的数据：使用时间为３．４７７６×１０ 秒（大约９个半小时），能量为 一３．４３２６×１ Ｏ ．对于ＳＣＬＭ算法，对基于ＧＰＧＰＵ和ＣＰＵ计算的情况，都分别进行了５０次实验．实验结果请参 表１基于ＣＰＵ和ＧＰＣＰＵ的ＳＣＬＭ算法实验比较 见表１． ５ 结论 实验证明，基于ＧＰＧＰＵ的ＳＣＬＭ算法的效率显著高于之前基于ＣＰＵ计算的ＡＣＬＭ和ＳＣＬＭ算法．这是 因为ＣＰＵ擅长于复杂逻辑计算，而ＧＰＵ适合于处理计算密度高、逻辑分支简单的大规模数据并行任务．考虑到 实验所采用的显卡只是家用级显卡，编程工具是ＭＡＴＬＡＢ，而不是专业从事ＧＰＵ运算的Ｔｅｓｌａ系列显卡和执行 效率更高的ＣＵＤＡ Ｃ编程工具，因此在应对实际工程需要，后者在发挥算法性能的潜力要更大．传统神经网络 方法存在求解精度高，但收敛速度慢的问题，采用ＧＰＧＰＵ方法提高现有神经网络方法是一种有效的途径，希望 我们的工作能给同行们带来一些有益的启示． ．参考文献： …１ ＪＡＳＯＮ ＳＡＮＤＥＲＳ，ＥＤＷＡＲＤ ＫＡＮＤＲＯＴ．ＧＰＵ高性能编程ＣＵＤＡ实战【Ｍ】．聂雪军，译．北京：机械工业出版社，２０１１ 第４期 周伟等：利用ＧＰＵ通用计算的同步层竞争算法研究 ６５７ 【２】ＤＡＶＩＤ Ｂ ＫＩＲＫ，ＷＥＮ－ＭＥＩ Ｗ ＨＷＵ．大规模并行处理器程序设计【Ｍ】．北京：清华大学出版社，２０１０． 【３】Ｊ ＯＮＴＲＵＰ，Ｈ ＲＩＴＴＥＲ．Ｐｅｒｃｅｐｔｕａｌ ｇｒｏｕｐｉｎｇ ｉｎ ａ ｎｅｕｒａｌ ｍｏｄｅｌ：Ｒｅｐｒｏｄｕｃｉｎｇ ｈｕｍａｎ ｔｅｘｔｕｒｅ ｐｅｒｃｅｐｔｉｏｎ［Ｒ］．Ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ ＳＦＢ３６０－ＴＲ－９８／６．Ｔｅｃｈｎｉｃａｌ ｒｅｐｏ￣，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｂｉｅｌｅｆｅｌｄ，１ ９９８． 【４】Ｈ ＲＩＴＴＥＲ．Ａ ｓｐａｔｉａｌ ａｐｐｒｏａｃｈ ｔｏ ｆｅａｔｕｒｅ ｌｉｎｋｉｎｇ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｃｏｎｆｅｒｅｎｃｅ Ｐａｒｉｓ［Ｃ］．Ｋｌｕｗｅｒ Ｐｕｂｌｉｓｈｅｒｓ，１ ９９０，２：８９８—９０ １． 【５】Ｈ ＷＥＲＳＩＮＧ，川Ｓｔｅｉｌ，Ｈ Ｒｉｔｔｅｒ．Ａ ｃｏｍｐｅｔｉｔｉｖｅ ｌａｙｅｒ ｍｏｄｅｌ ｆｏｒ ｆｅａｔｕｒｅ ｂｉｎｄｉｎｇ ｎｄ ａｓｅｎｓｏｒｙ ｓｅｇｍｅｎｔａｔｉｏｎ］Ｊ］．Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ． ２００１，１３：３５７－３８７． 【６】ＺＨＯＵ ＷＥＩ，ＪＡＣＥＫ Ｍ Ｚｕｒａｄａ．Ｃｏｍｐｅｔｉｔｉｖｅ ｌａｙｅｒ ｍｏｄｅｌ ｏｆ ｄｉｓｃｒｅｔｅ．ｔｉｍｅ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ＬＴ ｎｅｕｒｏｎｓ［Ｊ］．Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ，２０１０，２２：２１３７－２１６０． 【７】Ｓ ＷＥＮＧ，Ｈ Ｗｅｒｓｉｎｇ，Ｊ Ｊ Ｓｔｅｉｌ，ｅｔ ａ１．Ｌｅａｒｎｉｎｇ ｌａｔｅｒａｌ ｉｎｔｅｒａｃｔｉｏｎｓ ｏｒｆ ｆｅａｔｕｒｅ ｂｉｎｄｉｎｇ ａｎｄ ｓｅｎｓｏｒｙ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｒｏｍ ｐｒｏｔｏｔｙｐｉｃ ｂａｓｉｓ ｉｎｔｅｒａｃｔｉｏｎｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，２００６，ｌ７ｒ２）：８４３．８６２． 【８ ＺＨＡＮＧ ＹＩ８】．Ｆｏｕｎｄａｔｉｏｎｓ ｏｆ ｉｍｐｌｅｍｅｎｔｉｎｇ ｔｈｅ Ｃｏｍｐｅｔｉｔｉｖｅ Ｌａｙｅｒ Ｍｏｄｅｌ ｂｙ Ｌｏｔｋａ－Ｖｏｌｔｅｒｒａ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，２０１０，２１（３）：４９４．５０７． Ｔｈｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｓｙｎｃｈｒｏｎｏｕｓ ｃｏｍｐｅｔｉｔｉｖｅ ｌａｙｅｒ ｍｏｄｅｌ（ＳＣＬＭ）ｍｅｔｈｏｄ ｗｉｔｈ ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ＧＰＵ ｃｏｍｐｕｔｉｎｇ ＺＨＯＵ Ｗｅｉ，ＬＩ Ｐｉｎｇ （Ｓｃｈｏｏｌ ｏｆＣｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｓｏｕｔｈｗｅｓｔ Ｕｎｉｖｅｒｓｉｔｙ ｏｆｒ Ｎａｔｉｏｎａｌｉｔｉｅｓ，Ｃｈｅｎｇｄｕ ６１００４１，Ｅ Ｒ．Ｃ．） Ａｂｓｔｒａｃｔ：Ｃｏｍｐａｒｅｄ ｗｉｔｈ ｏｔｈｅｒ ｏｐｔｉｍｉｚａｔｉｏｎ ｍｅｔｈｏｄｓ，ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｌｗａｙｓ ｈａｖｅ ｂｅＲｅｒ ｐｒｅｃｉｓｉｏｎ ｂｕｔ ａｒｅ ａ１ｓＯ ｔｉｍｅ。ｃｏｎｓｕｍｉｎｇ．Ｗｉｔｈ ｔｈｅ ａｄｖａｎｔａｇｅ ｏｆ ｐａｒａｌｌｅｌ ｃｏｍｐｕｔｉｎｇ，ｓｙｎｃｈｒｏｎｏｕｓ ｕｐｄａｔｅ ｍｏｄｅ ｏｆ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｃａＪ１ ｂｅ ｕｓｅｄ ｔｏ ｐｅｒｕｓｅ ｂｅＲｅｒ ｐｅｒｆｏｒｍａｎｃｅ ｉｎｓｔｅａｄ ｏｆ ａｓｙｎｃｈｒｏｎｏｕｓ ｕｐｄａｔｅ ｍｏｄｅ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ａ ｓｙｎｃｈｒｏｎｏｕｓ ｃｏｍｐｅｔｉｔｉｖｅ ｌａｙｅｒ ｍｏｄｅｌ （ＳＣＬＭ）ｍｅｔｈｏｄ ｉｓ ｉｍｐｌｅｍｅｎｔｅｄ ｉｎ ｔｗｏ ｄｉｆｆｅｒｅｎｔ ｗａｙｓ：Ｇｅｎｅｒａｌ Ｐｕｒｐｏｓｅ ＧＰＵ ｃｏｍｐｕｔｉｎｇ，ａｎｄ ＣＰＵ ｃｏｍｐｕｔｉｎｇ．Ｆｒｏｍ ｔｈｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｒｅｓｕｌｔｓ，ｉｔ ｃａｎ ｂｅ ｃｏｎｃｌｕｄｅｄ ｔｈａｔ Ｇｅｎｅｒａｌ Ｐｕｒｐｏｓｅ ＧＰＵ ｃａｎ ｅｆｉｆｃｉｅｎｔｌｙ ｉｎｃｒｅａｓｅ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ＳＣＬＭ ｍｅｔｈｏｄ． Ｋｅｙ ｗｏｒｄｓ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ｐａｒａｌｌｅｌ ｃｏｍｐｕｔｉｎｇ；ｃｏｍｐｅｔｉｔｉｖｅ ｌａｙｅｒ ｍｏｄｅｌ；ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ
