节点文献

多样性正则的神经网络训练方法探索

免费订阅

【作者】 屈伟洋俞扬

【Author】 Qu Weiyang;Yu Yang;National Key Laboratory for Novel Software Technology,Nanjing University;

【机构】 南京大学软件新技术国家重点实验室

【摘要】 传统神经网络训练方法通过计算输出Y和目标T之间误差,并将该误差反向传递,用以修改节点权重,并不断重复该过程直至达到预期结果.该方法在模型训练时存在收敛较慢、容易过度拟合的问题.多样性正则项(diversity regularization)最近显示出有简化模型、提高泛化能力的作用,对带有多样性正则项的神经网络训练方法进行探索,在计算目标函数时加入权重多样性的考虑,从而使得网络的内部结构减少重复.与传统神经网络训练方法——反向传播算法(back-propagation algorithm,BP)和目标差传播方法(difference target propagation,DTP)的结合与对比实验表明,带多样性正则项的训练方法具有更快的收敛速度和较低的错误率.

【基金】 国家自然科学基金(61375061);江苏省自然科学基金(BK20160066)
  • 【DOI】10.13232/j.cnki.jnju.2017.02.016
  • 【分类号】TP183
  • 【下载频次】22
节点文献中: 

本文链接的文献网络图示:

浏览历史:
下载历史: