节点文献

基于Trie树的词语左右熵和互信息新词发现算法

免费订阅

【作者】 郭理张恒旭王嘉岐秦怀斌

【Author】 GUO Li;ZHANG Hengxu;WANG Jiaqi;QIN Huaibin;College of Information Science and Technology,Shihezi University;

【机构】 石河子大学信息科学与技术学院

【摘要】 由于大量新词的出现,使得中文文本分析产生了较大的困难,因此新词发现成为目前中文自然语言处理中的热点和难点问题。为此,文中提出了一种基于Trie树的词语左右熵和互信息新词发现算法。先根据成词规则,筛选掉文本中的停用词和非中文字符,将每个字与其右邻的字组成二元组;然后利用左右信息熵和互信息进行成词概率的计算,根据计算到的成词概率和词频筛选出新词;并且设计了三个实验,验证了算法的有效性和可行性。实验结果表明,该新词发现算法成词准确率较高,比其他新词发现算法时间效率有较大的提高,对于中文分词结果的优化起到重要的作用。

【基金】 国家社会科学基金项目(14XXW004)
【所属期刊栏目】 计算机科学与应用 (2020年06期)
  • 【DOI】10.16652/j.issn.1004-373x.2020.06.016
  • 【分类号】TP391.1
  • 【下载频次】13
节点文献中: 

本文链接的文献网络图示:

浏览历史:
下载历史: