东方耀AI技术分享

标题: 20、A-Softmax与L-Softmax的区别 [打印本页]

作者: 东方耀 时间: 2020-6-4 11:34
标题: 20、A-Softmax与L-Softmax的区别
A-Softmax与L-Softmax的区别：
最大区别在于A-Softmax的权重归一化和bias=0了，导致特征上的点映射到单位超球面上。
如在训练时两个类别的特征输入在同一个区域时发生了区域的重叠。A-Softmax只能从角度上分离这两个类别，也就是说它仅从方向上去分类；
而L-Softmax不仅可以从角度上区别两个类，还能从权重的模（长度）上区别这两个类（Softmax也是这两个方法只是没有m）。

在数据集合大小固定的条件下，L-Softmax能有两个方法分类，训练可能没有使得它在角度与长度方向都分离，导致它的精确度可能不如A-Softmax。

欢迎光临东方耀AI技术分享 (http://www.ai111.vip/)