东方耀AI技术分享

标题: caffe合并Convolution和BatchNorm和Scale层的tool [打印本页]

作者: 东方耀 时间: 2020-8-6 15:53
标题: caffe合并Convolution和BatchNorm和Scale层的tool
caffe合并Convolution和BatchNorm和Scale层的tool

BN层的融合即为将caffe中BN层与Scale层融合进Convolution的权重之中，把三层减少为一层，
适用于训练完成的模型部署阶段，而不能用在训练中。

融合BN与卷积要求BN层位于卷积之后，且融合后的卷积层参数convolution_param中的bias_term必须为true

BN层执行了两个操作，一个是归一化，另一个是缩放

merge bn本来就是只有在deploy的时候才会用到，在deploy的时候bn stats是固定的

作者: 东方耀 时间: 2020-8-6 15:56
记得好像：合并后前向的速度快10%-20% 有待考证

欢迎光临东方耀AI技术分享 (http://www.ai111.vip/)