节点文献

Sigmoid函数的低复杂度概率分段线性拟合法

免费订阅

【作者】 NGUYEN Van-Truong蔡觉平魏琳育褚洁

【Author】 NGUYEN Van-Truong;CAI Jueping;WEI Linyu;CHU Jie;School of Microelectronics,Xidian University;

【机构】 西安电子科技大学微电子学院

【摘要】 针对传统的Sigmoid激活函数拟合方法准确度不高、消耗大量资源等问题,提出了一种基于各层神经元值分布概率的Sigmoid函数分段线性拟合方法,以便在仅使用加法电路的情况下,提高神经网络的识别精度。首先以Sigmoid函数的二阶导数为基础,将Sigmoid函数划分为3个固定区域;其次根据每层神经元值的概率变化,将每个固定区域的曲线再划分成不同数量、长度的子区域,以减少近似误差,提高识别精度。分段线性函数斜率设为2-n,有效地降低了Sigmoid函数的硬件实现复杂度。最后,设计了拟合函数的硬件电路结构,并在Xilinx FPGA-XC7A200T上实现MNIST手写数字识别,对所提出的拟合方法进行验证。实验结果表明,该方法的识别准确率在深度神经网络中约达到97.45%,而在卷积神经网络中约达到98.42%。与其他仅使用加法电路的拟合方法对比,准确率分别提高了约0.84%和0.57%。

【基金】 芜湖-西电产学研合作专项资金(012019005);国际科技创新战略合作重点项目(2016YFE0207000)
  • 【DOI】10.19665/j.issn1001-2400.2020.03.008
  • 【分类号】O211;TP183
  • 【下载频次】117
节点文献中: 

本文链接的文献网络图示:

浏览历史:
下载历史: