20、A-Softmax与L-Softmax的区别

东方耀

A-Softmax与L-Softmax的区别：
最大区别在于A-Softmax的权重归一化和bias=0了，导致特征上的点映射到单位超球面上。
如在训练时两个类别的特征输入在同一个区域时发生了区域的重叠。A-Softmax只能从角度上分离这两个类别，也就是说它仅从方向上去分类；
而L-Softmax不仅可以从角度上区别两个类，还能从权重的模（长度）上区别这两个类（Softmax也是这两个方法只是没有m）。




在数据集合大小固定的条件下，L-Softmax能有两个方法分类，训练可能没有使得它在角度与长度方向都分离，导致它的精确度可能不如A-Softmax。