东方耀AI技术分享

标题: 05、深度神经网络面临的挑战：梯度消亡与过拟合 [打印本页]

作者: 东方耀 时间: 2019-10-21 17:26
标题: 05、深度神经网络面临的挑战：梯度消亡与过拟合
05、深度神经网络面临的挑战：梯度消亡与过拟合

深度神经⽹络⾯临的挑战
梯度消亡（Gradient Vanishing)：
训练过程⾮常慢
过拟合（Overfitting)
在训练数据上⾯的效果好，在实际的测试数据上⾯效果差

梯度消亡(Gradient Vanishing)现象
神经⽹络靠输⼊端的⽹络层的系数逐渐不再随着训练⽽变化，或者
变化⾮常缓慢
随着⽹络层数增加，这个现象越发明显

梯度消亡(Gradient Vanishing)问题分析
梯度下降法依靠理解系数的微⼩变化对输出的影响来学习⽹络的系
数的值。
如果⼀个系数的微⼩变化对⽹络的输出没有影响或者影响极⼩，那
么就⽆法知晓如何优化这个系数，或者优化特别慢。造成训练的困难

为什么不选择激活函数：f(x) = x ？

过拟合的解决⽅案
• DropOut
• L2 正则化
• L1 正则化
• MaxNorm 最大范数约束

东方老师AI官网：http://www.ai111.vip
有任何问题可联系东方老师微信：dfy_88888
【微信二维码图片】

欢迎光临东方耀AI技术分享 (http://www.ai111.vip/)