专利内容由知识产权出版社提供
专利名称：一种基于循环神经网络的语言模型建模方法专利类型：发明专利
发明人：程春玲,朱涛,闵丽娟,王亚石,杨维荣申请号：CN202010067852.8申请日：20200120公开号：CN1113102A公开日：20200619
摘要：本发明公开了一种基于循环神经网络的语言模型建模方法，使用循环神经网络代替循环神经网络作为基本单元，由于循环神经网络的神经元只从输入和上一时刻的隐态本身接收信息，同一层之间的神经元没有相互作用，梯度的计算可以进行，同时针对循环神经网络进行dropout正则化，在时间序列上通过在层与层之间应用dropout以改善模型的过拟合现象；使用对数双线性模型降低输出层的计算量，加快训练速度。本发明结合了循环神经网络、正则化方法以及对数双线性模型的优越性，可以降低语言模型的困惑度并提升训练效率。
申请人：南京邮电大学
地址：210000 江苏省南京市栖霞区文苑路9号
国籍：CN
代理机构：南京瑞弘专利商标事务所(普通合伙)
代理人：彭雄
更多信息请下载全文后查看
