用户名: 密码:    忘记密码   注册   在线充值
神经网络的训练方法和通过该训练方法获得的神经网络  
 【申请号】  CN201611079401.6  【申请日】  2016-11-30
 【公开号】  CN108122033A  【公开日】  2018-06-05
 【申请人】  株式会社日立制作所  【地址】  日本国东京都千代田区丸之内一丁目6番6号
 【共同申请人】  
 【发明人】  沙浩
 【国际申请】    【国际公布】  
 【进入国家日期】  
 【专利代理机构】  上海华诚知识产权代理有限公司 31300  【代理人】  肖华
 【分案原申请号】  
 【国省代码】  JP
 【摘要】  本发明提供了一种神经网络的训练方法和神经网络。该方法包括:对输入的一组训练样本重复进行多次运算处理,每次运算处理包含:对于每个激活节点,根据选择概率值,随机地从线性运算和非线性运算之中选择出第一选择结果,来进行第一次网络训练,以获得第一训练损失值;对于每个激活节点,根据选择概率值,随机地从线性运算和非线性运算之中选择出第二选择结果,来进行第二次网络训练,以获得第二训练损失值;当第一训练损失值小于第二训练损失值时,增加每个感兴趣节点的第一选择结果的概率值;以及当第二训练损失值小于等于第一训练损失值时,增加每个感兴趣节点的第二选择结果的概率值。本发明通过引入随机性,提高了神经网络的精度。
 【主权项】  一种神经网络的训练方法,其特征在于,所述训练方法包括:将一组训练样本输入到所述神经网络中,并且对输入的所述训练样本重复进行多次运算处理,每次运算处理包含以下步骤:对于所述神经网络中的每个激活节点,根据所述每个激活节点的选择概率值,随机地从线性运算和非线性运算之中选择出所述每个激活节点的第一选择结果,并且根据所述每个激活节点的所述第一选择结果,来对所述训练样本进行第一次网络训练,以获得第一训练损失值,其中所述每个激活节点的所述选择概率值包括选择所述线性运算的概率值和选择所述非线性运算的概率值,并且选择所述线性运算的概率值和选择所述非线性运算的概率值之和等于1;对于所述每个激活节点,根据所述每个激活节点的所述选择概率值,随机地从所述线性运算和所述非线性运算之中选择出所述每个激活节点的第二选择结果,并且根据所述每个激活节点的所述第二选择结果,来对所述训练样本进行第二次网络训练,以获得第二训练损失值;将所述第一训练损失值与所述第二训练损失值进行比较;当所述第一训练损失值小于所述第二训练损失值时,将所述第一选择结果与所述第二选择结果不同的激活节点确定为感兴趣节点,并且以相等的增加值,增加每个所述感兴趣节点的所述第一选择结果的概率值,以更新所述每个激活节点的所述选择概率值;以及当所述第二训练损失值小于等于所述第一训练损失值时,将所述第一选择结果与所述第二选择结果不同的所述激活节点确定为所述感兴趣节点,并且以相等的所述增加值,增加每个所述感兴趣节点的所述第二选择结果的概率值,以更新所述每个激活节点的所述选择概率值;其中,所述每个激活节点的所述选择概率值的初始值被设定成选择所述线性运算的概率值等于选择所述非线性运算的概率值,并且更新后的所述每个激活节点的所述选择概率值将被用于下一次运算处理。
 【页数】  11
 【主分类号】  G06N3/08
 【专利分类号】  G06N3/08
   推荐下载阅读CAJ格式全文 查询法律状态
(不支持迅雷等加速下载工具,请取消加速工具后下载。)

 


专利产出状态分析  
本领域科技成果与标准  
发明人发表文献
申请机构(个人)发表文献
本专利研制背景
本专利应用动态
所涉核心技术研究动态
京 ICP 证 040431 号 网络出版服务许可证 (总)网出证(京)字第 271 号经营性网站备案信息 京公网安备 11010802020460 号
© 2010-2017 中国知网(CNKI) 《中国学术期刊(光盘版)》电子杂志社有限公司 KDN 平台基础技术由 KBASE 11.0 提供
服务热线:400-810-9888 订卡热线:800-810-6613
在线咨询:http://help.cnki.net 客服中心:http://service.cnki.net 电子邮件:help@cnki.net
可信网站 诚信网站