第３９卷第２期 ２０１０年３月 内蒙古师范大学学报（自然科学汉文版） Ｊｏｕｒｎａｌ ｏｆ Ｉｎｎｅｒ Ｍｏｎｇｏｌｉａ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ） Ｖｏ１．３９ Ｎｏ．２ Ｍａｒ．２０１０ 基于Ｈ ＭＭ的蒙古文自动词性标注研究 艳 红，王斯日古楞 （内蒙古师范大学计算机与信息工程学院，内蒙古呼和浩特０１００２２） 摘要：描述了基于统计的蒙古文自动词性标注系统的功能和总体结构，并对系统的性能进行测试．以规模 为９５万词的语料库作为训练语料，对５万词的测试文本进行～级词性标注．结果表明封闭测试和开放测试的准 确率分别达到９６．９６ 和９６．７９ 关键词：蒙古文词性标注；统计方法；隐马尔可夫模型；Ｖｉｔｅｒｂｉ算法 中图分类号：ＴＰ ３９１．１２ 文献标识码：Ａ 文章编号：１００１－８７３５（２０１０）０２－０２０６－０４ 蒙古文语料库是蒙古文信息处理研究中统计数据的提供者，词性标注则是语料库建设中的重要环节，对 蒙古语语料库标注、机器翻译和大规模文本信息检索等都有重要的意义．一个词可能属于多种词类，但在实 际语言环境中只能属于一种词类，词性标注就是指出一个词在实际语言环境中的正确类型．蒙古文词性标注 是蒙古文信息处理技术中的一项基础性课题，本文主要介绍基于统计的蒙古文自动词性标注系统的设计与 实现． １ 词性标注方法的选取 词性标注方法有基于规则的方法、基于语料库的统计方法、基于规则和统计相结合的方法．基于规则的 方法，需要大量的人力来制定规则，而且不容易保证规则的完备性和在真实文本处理中的有效性．基于统计 的方法是对部分语料进行手工标注，然后对标注语料进行统计，得到标记与标记同现的频率，产生一个与标 记同现的同现频率矩阵．在进行自动标注时，从文本中取出两端没有词性歧义的词串，利用标记同现频率的 乘积计算此词串的所有可能的标记组成的标记串的权值，选择权值最大的标记串作为标注结果．基于统计的 标注方法有抑制小概率事件发生的作用，但会受到长距离搭配上下文的，而这一缺陷通过规则的方法很 容易实现，所以人们提出规则和统计相结合的方法． 在蒙古文自动词性标注方面，文献［１－１实现了基于规则的蒙古文自动词性的标注；文献［２］完成了基于 切分和词典的词性标注系统，由于不能解决兼类词的问题，该系统用基于统计的方法进行了改进和修补；文 献［３３提出了一个改进的基于转换的蒙古文词性标注方法，用于解决原基于转换方法中规则学习训练时间 过长的问题．目前，基于语料库统计方法的蒙古文自动词性标注的研究成果尚不多见，为提高标注的准确性， 本文尝试采取基于语料库的统计方法对蒙古文进行自动词性标注． ２ 语料库及标记集的选择 ２．】语料库的选择 本研究使用内蒙古大学蒙古学学院已标注词性的１００万词级的《现代蒙古文数据库》，该语料库采用蒙 古文拉丁转写方式，内容包括文学作品、蒙古文教材、报刊和政治论著． ２．２标记集的选择 词性标记规范参考内蒙古大学蒙古学学院的“面向信息处理的蒙古语词语分类及其标记集”，并采用其 收稿日期：２００９－０７－１２ 基金项目：国家自然科学基金资助项目（６０３６３００５） 作者简介：艳 红（１９８３一），女（蒙古族），内蒙古兴安盟人，内蒙古师范大学硕士研究生 通信作者：王斯日古楞（１９７０一），女（土族），内蒙占锡林浩特市人，内蒙古师范大学副教授，主要从事蒙占文信息处理和机器翻译研究 第２期 艳红等：基于ＨＭＭ的蒙古文自动词性标注研究 ・２０７・ 中的一级标记集，见表１． 表１词性标记集 Ｔａｂ．１ Ｐａｒ卜０ｆ．ｓｐｅｅｃｈ ｔａｇｇｉｎｇ ｓｅｔ 标记 词性 标记 词性 标记 词性 标记 词性 Ａ 形容词 Ｈ 情态词 Ｐ 不确定词 Ｕ 模拟词 ｃ 连接词 Ｉ 感叹词 Ｑ 量词 Ｖ 动词 Ｄ 副词 Ｍ 数词 Ｒ 代词 ｗ 标点 Ｆ 构形附加成分 Ｎ 名词 Ｓ 语气词 Ｙ 复合词 Ｇ 后置词 ０ 时位词 Ｔ 时间词 ３ 系统的功能与整体框架 ３．１ 系统的功能 系统采用的语料有１００万个词，考虑程序运行 的速度问题，将语料库以文本文件格式存储，这样 读取大规模语料库的速度会有所提高，从而提高程 序运行的速度．程序开始运行时首先读取训练语 料，通过训练语料获得隐马尔可夫模型（ＨＭＭ）参 数，并对其进行参数平滑，从而得到相应的有效参 数，即词性转移概率矩阵、词汇概率矩阵和词性出 现频度表．然后读取测试文本，并根据句子结束符 号进行断句．对于每个句子，使用Ｖｉｔｅｒｂｉ算法获得 每个词的最佳词性．最后将标注词性的所有句子输 出到Ｒｅｓｕｌｔ．ｔｘｔ文件中．系统的运行过程如图１ 所示． ３．２系统的整体框架 ３．２．１ 打开训练语料库模块的实现定义了两个 ｖｅｃｔｏｒ类型的变量Ｓｏｕｒｃｅ—Ｗｏｒｄ和Ｓｏｕｒｃｅ—Ｐｏｓ： Ｓｏｕｒｃｅ＿Ｗｏｒｄ中存放训练语料中出现的蒙古文单 词；Ｓｏｕｒｃｅ—Ｐｏｓ中存放训练语料库中出现的词性 图１词性标注系统结构流程图 标记．同时定义了两个ｍａｐ类型的变量ｗｏｒ０一 Ｆｉｇ．１ Ｆｌｏｗ ｃｈａｒｔ ｏｆ ｐａｒ｝０ｆ＿ｓｐｅｅｃｈ ｔａｇｇｉｎｇ ｓｙｓｔｅｍ ｓｔｒｕｃｔｕｒｅ Ｎｕｍ和Ｐｏｓ—Ｎｕｍ：ｗｏｒ０一Ｎｕｍ以蒙古文单词为 索引，存放该单词在训练语料中出现的频率；Ｐｏｓ—Ｎｕｍ以蒙古文词性标记为索引，存放该标记在训练语料 中出现的频率． ３．２．２获得模型参数模块的实现本系统使用二元隐马尔可夫模型，即假设当前词性的出现只与紧邻的前 面词的词性有关．确定好语言模型后就可以求解模型参数，求解模型参数的过程是通过训练语料库获得的． 训练语料时首先计算词性转移频率矩阵ＰｏｓＴｏＰｏｓ—Ｆｒｅｑｕｅｎｃｙ、词汇频率矩阵ＰｏｓＴｏＷｏｒｄ—Ｆｒｅｑｕｅｎｃｙ和词 性出现频度表Ｗｏｒｄ—Ｆｒｅｑｕｅｎｃｙ．根据频率矩阵和频度表计算出词性转移概率矩阵ＰｏｓＴｏＰｏｓ—Ｐｒｏｂａｂｉｌｉｔｙ和 词汇概率矩阵ＰｏｓＴｏＷｏｒｄ＿Ｐｒｏｂａｂｉｌｉｔｙ． ３．２．３ 平滑参数模块的实现 依据所选的训练语料库，采用插值法进行参数平滑，转移概率系数取０．１５． 通过对以上计算出的概率进行参数平滑获取二元隐马尔可夫模型的参数，即词性转移概率矩阵ＰｏｓＴｏＰｏｓ— Ｐｒｏｂａｂｉｌｉｔｙ和词汇概率矩阵ＰｏｓＴｏＷｏｒｄ—Ｐｒｏｂａｂｉｌｉｔｙ． ３．２．４ 断句模块的实现在本模块中，系统先将测试文本读人内存中，再根据蒙古文的句子结束符号进行 断句．断句的句子结束符号有句号（．）、感叹号（！）、分句号（；）、冒号（：）、省略号（……）、问号（？）．断句时需要 ・ ２０８・ 内蒙古师范大学学报（自然科学汉文版） 第３９卷 注意一些特殊情况：句子结束符号后面出现非句子结束符号时，应判断出现在该句子结束符号后面的符号是 否属于本句，若属于本句，则断句时将其归人本句中．例如 ＜＜ＪＡ ＳＡＹＩＮ ＹＡＢＶ／ＪＶ ＢＡＹＩ／Ｎ—Ａ ＶＶ？＞＞ 断句首先找到“？”，再取下一个词，即符号“＞＞’’，因为符号“＞＞”是与符号“＜＜”相匹配使用的，因此将其 归入本句中． ３．２．５ Ｖｉｔｅｒｂｉ算法进行词性标注模块的实现 Ｖｉｔｅｒｂｉ算法的基本过程为： （１）初始化． （ ）＝霸ｂ （ １）， １≤ ≤Ｎ， Ａ１（ ）一Ｏ． （２）递归算法通向每个词硼， 的每个词性标记ｔ，的最佳路径． （ ）一ｍａｘ［ 一１（ ）×ａ ］×ｂｊ（叫 ）， ２≤ ≤Ｍ，１≤ ≤Ｎ， △ （ ） ａｒｇ ｍａ ［ 一１（ ）×口 ］×ｂｊ（ ）， ２≤ ≤Ｍ，１≤ ≤Ｎ． （３）达到最后一个词ＷＭ时，计算这个词的最佳词性标记． Ｐ ： ｍａｘ［ Ｍ（ ）］， ￡ 一ａｒｇ ｍａｘ［ Ｍ（ ）］． （４）从叫Ｍ的最佳词性标记开始，顺次回推取得每个词的最佳词性标记． 一△ ＋１（ ＋１）， ｍ—Ｍ一１，Ｍ一２，…，２，１． 其中：７ｃ 表示句首词出现第ｉ个词性的概率；ｂ，（叫 ）表示第 个词（叫 ）的各个词性标记取词语叫 的条件 概率；ｎ 表示从第ｍ个词（训 ）的各个词性标记向第 ＋１个词（ ＋ ）的各个词性标记转移的概率；Ｍ表 示当前句子中的单词个数；Ｎ表示词性种类个数． 在此模块中首先处理句首词，即计算句首词取某词性的最大概率，然后处理非句首句尾的词，即计算从 前一个词的所有词性分别转到当前词所有词性的概率，调用Ｍａｘ函数对每种可能的词性选择一个概率值最 大的路径，再分别乘以当前词取这些词性的概率，得到相应的权值，存放到Ｍｏｓｔ—Ｓｔａｔｅ二维数组中，接着处 理句尾词，即从前一个词的词性转到最后一个词的路径中选择权值最大的确定为最后一个词的词性．最后用 递归方法回推，访问Ｍｏｓｔ—Ｓｔａｔｅ数组，选取权值最大的词性作为当前词的词性，直到确定完句首词的词性 为止． ４ 测试结果及分析 ４．１测试结果 为了评价蒙古文自动词性标注系统的性能，采用词性标注正确率进行评价，即 ×１００ ． 其中：ＮＡＬ 表示用来测试的语料库中词的总数量；Ｎ 是测试时标注正确的词的数量．该公式是对词性标注 系统的整体评价． 在测试时随机从训练语料库中抽取５万个词作为封闭测试集和开放测试集，分别对不同词级的训练语 料进行封闭测试和开放测试．测试结果见图２． ４．２测试结果分析 对于词性标注系统，影响其标注正确率的因素主要有： （１）训练语料库规模的大小和语料内容涉及的领域．从图２可以看出，语料规模越大，标注的正确率越 高，但语料库的大小和标注的准确率并非是线性关系，语料的规模增加到一定程度后，在扩大训练语料时，其 准确率的增加会相对变缓．此外，训练语料库涉及的内容越广，标注的正确率越高． （２）词 标记集的大小．词性标记集的划分越细，越会降低排歧效率，从而降低标注的正确率．我们分别 采用一级、二级、三级词性标记集，以９５万词级的语料库作为训练语料，对５万个词进行封闭和开放测试，结 果见图３．由图３可知，标记集级别增加时，标注准确率降低． （３）测试语料的内容．若测试语料中的很多词在训练语料中从未出现过，也会降低标注的正确率． 第２期 、瓣嚣茸列鞲 艳红等：基于ＨＭＭ的蒙古文自动词性标注研究 ・２０９・ ９ ９ ９ ９ ９ ９ ９ ９ ７ ７ ６ ６ ５ ５ ４ ４ （４）训练语料库是人工标注的，而且训练语料的规模也比较大，因此难免会出现错误的标注，这也是影 ５ Ｏ ５ Ｏ ５ Ｏ ５ Ｏ Ｏ Ｏ Ｏ Ｏ Ｏ Ｏ Ｏ Ｏ 响标注正确率的一个因素． ９８．０ｏ ９６．００ 褂 善９４．００ 划 鞲 ９２．００ ９Ｏ．０ｏ ４５ ５５ ６５ ７５ ８５ ９５ 一级 二级 三级 训练语料库规模／万 标注集类型 图２训练语料规模与标注正确率的关系 图３词性标记集类型与标注正确论的关系 Ｆｉｇ．２ Ｔｈｅ ｒｅｌａｔｉｏｎｓｈｉｐ ｂｅｔｗｅｅｎ ｔｒａｉｎｉｎｇ ｃｏｒｐｕｓ ｓｉｚｅ Ｆｉｇ．３ Ｔｈｅ ｒｅｌａｔｉｏｎｓｈｉｐ ｂｅｔｗｅｅｎ ｔｙｐｅ ｏｆ ｐａｒｔ—ｏｆ－ｓｐｅｅｃｈ ａｎｄ ｔａｇｇｉｎｇ ａｃｃｕｒａｃｙ ｒａｔｅ ｔａｇｇｉｎｇ ｓｅｔ ａｎｄ ｔａｇｇｉｎｇ ａｃｃｕｒａｃｙ ｒａｔｅ ５ 总结 蒙古文自动词性标注是蒙古文信息处理领域中一个比较困难的问题．本文采用二元隐马尔可夫模型，运 用线性插值法解决了数据稀疏问题，最后采用Ｖｉｔｅｒｂｉ算法完成了对蒙古文的自动词性标注．以９５万词级的 语料库作为训练语料，对５万词级的实验语料进行了一级、二级和三级词性标注，其中一级标注的开放测试 和封闭测试正确率分别达到９６．７９４８ 和９６．９６２ ７ ，但是与应用系统的要求还有一定的差距．为了提高标 注系统的正确率，需要进一步研究如何将蒙古文的切分与隐马尔可夫模型相结合起来进行词性消歧． 参考文献： Ｅｌｉ赵斯琴．蒙古语词性标注系统的设计［Ｊ］．内蒙古师范大学学报：自然科学汉文版，２００６，３５（２）：１８６—１８８ ［２］ 图格木乐．蒙古文资源库相关技术研究［Ｄ］．呼和浩特：内蒙古大学蒙古学学院．２００７． ［３］胡冠龙，张建，李淼．改进的基于转换方法的拉丁蒙文词性标注［Ｊ］．计算机应用．２００７，２７（４）：９６３—９６５． ［４］嘎ＩＥＩ迪，斯日古楞．蒙古文信息处理技术及自然语言理解［Ｍ］．呼和浩特：内蒙古大学出版社，２００６． ［５］ 梁以敏．基于统计的汉语词性标注方法的研究［Ｄ］．大连：大连理工大学计算机科学与技术学院，２００４． Ｅ６］魏欧．吴健．孙玉芳．基于统计的汉语词性标注方法的分析与改进［Ｊ］．软件学报，２０００，ｌ１（４）：４６７—４８０． ［７］陈小荷．现代汉语自动分析：Ｖｉｓｕａｌ Ｃ＋＋实现［Ｍ］．北京：北京语言文化大学出版社。２０００． Ｓｔｕｄｙ ｏｎ Ｍｏｎｇｏｌｉａｎ Ｐａｒｔ—ｏｆ－Ｓｐｅｅｃｈ Ｔａｇｇｉｎｇ Ｂａｓｅｄ ｏｎ Ｈ ＭＭ Ｙａｎｈｏｎｇ，ＷＡＮＧ Ｓｉｒｉｇｕｌｅｎｇ （Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｃｉｅｎｃｅ，ｌｎｎｅｒ Ｍｏｎｇｏｌｉａ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｈｏｈｈｏｔ ０１００２２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｆｕｎｃｔｉｏｎｓ ａｎｄ ｏｖｅｒａｌｌ ｓｔｒｕｃｔｕｒｅ ｏｆ ａ Ｍｏｎｇｏｌｉａｎ ｐａｒｔ—ｏｆ—ｓｐｅｅｃｈ ｔａｇｇｉｎｇ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｓｔａｔｉｓｔｉｃｓ ｍｅｔｈｏｄ ｉｓ ｐｒｅｓｅｎｔｅｄ，ａｎｄ ｉｔｓ ｐｅｒｆｏｒｍａｎｃｅ ｔｅｓｔ ｉｓ ｃｏｍｐｌｅｔｅｄ ｗｉｔｈ ９５０ ０００ ｗｏｒｄｓ ｔｒａｉｎｉｎｇ ｃｏｒｐＵＳ ａｎｄ ５０ ０００ ｗｏｒｄｓ ｔｅｓｔ ｔｅｘｔ．Ｔｈｅ ｃｌｏｓｅ ａｎｄ ｏｐｅｎ ｔｅｓｔ ｒｅｓｕｌｔ ｏｆ ｔｈｅ ｐｏｓ ｔａｇｇｉｎｇ ｏｎ ｌｅｖｅｌ ｏｎｅ ｓｈｏｗｓ ｔｈａｔ ｔａｇｇｉｎｇ ａｃｃｕｒａｃｉｅｓ ａｒｅ ａｂｏｕｔ ９６．９６ ａｎｄ ９６．７９ Ａ ｒｅｓｐｅｃｔｉ０ｖｅｌｙ． Ｋｅｙ ｗｏｒｄｓ：Ｍｏｎｇｏｌｉａｎ ｐａｒｔ—ｏｆ－ｓｐｅｅｃｈ ｔａｇｇｉｎｇ；ｓｔａｔｉｓｔｉｃａｌ ｍｅｔｈｏｄ；ｈｉｄｅｎ ｍａｒｋｏｖ ｍｏｄｅｌ；ｖｅｔｅｒｂｉ ａｌｇｏｒｉｔｈｍ 【责任编辑金淑兰】
