节点文献

基于迁移学习的个性化循环神经网络语言模型

免费订阅

【作者】 徐萍吴超胡峰俊吴凡林建伟刘静静

【Author】 Xu Ping;Wu Chao;Hu Fengjun;Wu Fan;Lin Jianwei;Liu Jingjing;College of Information and Science Technology,Zhejiang Shuren University;College of Computer Science and Technology,Zhejiang University;

【机构】 浙江树人大学信息科技学院浙江大学计算机科学与技术学院

【摘要】 针对在小数据集上开发个性化语言模型仍存在的障碍,提出基于迁移学习的个性化循环神经网络语言模型。设计了基于预训练词向量、预训练电影剧本数据集、基于参数微调和特征提取分类器的迁移学习训练模式,在小数据集上建立了具有较高辨识度的个性化语言模型,降低了模型的困惑度,改进了模型的性能。模型的实验以电视剧Seinfeld角色为基础。结果表明:该模型在特定角色测试数据集上的困惑度比其他角色数据集平均低17.65%,证明其已经学会了该角色的个性化风格;迁移学习使得模型最低困惑度平均降低了36.38%,较好地解决了基于小数据集开发个性化语言模型存在的障碍问题。

【基金】 浙江省自然科学基金(LY14F020008);浙江省教育厅研究计划(Y201329701);国家自然科学基金(51675490);浙江省公益技术应用研究计划(2016C31116,2017C31050);浙江树人大学中青年学术团队项目
  • 【DOI】10.14177/j.cnki.32-1397n.2018.42.04.003
  • 【分类号】TP18
  • 【下载频次】34
节点文献中: 

本文链接的文献网络图示:

浏览历史:
下载历史: