05、深度神经网络面临的挑战：梯度消亡与过拟合

东方耀

05、深度神经网络面临的挑战：梯度消亡与过拟合


深度神经⽹络⾯临的挑战
梯度消亡（Gradient Vanishing)：
训练过程⾮常慢
过拟合 （Overfitting)
在训练数据上⾯的效果好，在实际的测试数据上⾯效果差


梯度消亡(Gradient Vanishing)现象
神经⽹络靠输⼊端的⽹络层的系数逐渐不再随着训练⽽变化，或者
变化⾮常缓慢
随着⽹络层数增加，这个现象越发明显


梯度消亡(Gradient Vanishing)问题分析
梯度下降法依靠理解系数的微⼩变化对输出的影响来学习⽹络的系
数的值。
如果⼀个系数的微⼩变化对⽹络的输出没有影响或者影响极⼩，那
么就⽆法知晓如何优化这个系数，或者优化特别慢。造成训练的困难


为什么不选择激活函数：f(x) = x ？


过拟合的解决⽅案
• DropOut
• L2 正则化
• L1 正则化
• MaxNorm  最大范数约束




东方老师AI官网：http://www.ai111.vip
有任何问题可联系东方老师微信：dfy_88888
【微信二维码图片】