032、改造为二值化神经网络的一般过程

东方耀

032、改造为二值化神经网络的一般过程


改造为二值化的神经网络：
1、二值化的卷积层BinaryConv2D、全连接层BinaryDense、激活函数层binary_tanh、复写DropOut
2、实际数据的label由01的独热编码变为-1 +1形式(乘2减1即可)
3、分类问题：修改损失函数 带hinge的三个损失函数squared_hinge categorical_hinge hinge都还行  带crossentropy差得远
4、修改学习率的调整策略 需要回调
lr_decay = (lr_end / lr_start) ** (1. / epochs)
cb_lr_scheduler = LearningRateScheduler(lambda epoch: lr_start * lr_decay ** epoch)

1. # -*- coding: utf-8 -*-
   
2. import keras.backend as K
   
3. import numpy as np
   
4. import tensorflow as tf
   
5. 
   
6. 
   
7. def round_through(x):
   
8.     '''
   
9.     对 x 中的值取整, 同时使得求梯度的得到的值与原始值的梯度一样
   
10.     小技巧, 创新思路：来自 [Sergey Ioffe](http://stackoverflow.com/a/36480182)
    
11.     '''
    
12.     rounded = K.round(x)  # 四舍五入
    
13.     # 这是很重要的技巧  因为tf或keras 会自动求梯度 根据前向传播过程  在这里 不能这样
    
14.     return x + K.stop_gradient(rounded - x)
    
15. 
    
16. 
    
17. def _hard_sigmoid(x):
    
18.     '''
    
19.     当 x <= -1,    y = 0;
    
20.     当 -1 < x < 1, y = 0.5 * x + 0.5;
    
21.     当 x > 1;      y = 1;
    
22.     '''
    
23.     x = (0.5 * x) + 0.5
    
24.     return K.clip(x, 0, 1)
    
25. 
    
26. 
    
27. def binary_tanh(x):
    
28.     '''
    
29.     激活函数 就是二值化的过程
    
30.     在前向传播(forward propagation)时, 输出如下:
    
31.         当 x <=  0.0, y = -1
    
32.         当 x >  0.0,  y = 1
    
33.    
    
34.     在后向传播(backward propagation)求梯度时, 求梯度的规则如下:
    
35.         2 * _hard_sigmoid(x) - 1
    
36. 
    
37.         当 x <= -1,    y = -1;
    
38.         当 -1 < x < 1, y = x;
    
39.         当 x > 1;      y = 1;
    
40. 
    
41.         当|x| >= 1 时, 梯度为 0
    
42.         当|x| < 1 时, 梯度为 1
    
43.     '''
    
44.     return 2 * round_through(_hard_sigmoid(x)) - 1
    
45. 
    
46. 
    
47. def binarize(W, H=1):
    
48.     '''
    
49.     二值化操作 W为kernel
    
50.     将 [-H, H] 之间的值转换为 -H 或者 H
    
51.     '''
    
52.     Wb = H * binary_tanh(W / H)
    
53.     return Wb
    
54. 
    
55. 
    
56. if __name__ == '__main__':
    
57.     kernel = np.random.normal(size=(3, 3))
    
58.     print('kernel:', kernel)
    
59.     with tf.Session() as sess:
    
60.         print(sess.run(binarize(kernel)))
    
61.         print(sess.run(binary_tanh(kernel)))
    

复制代码

东方老师AI官网：http://www.ai111.vip
有任何问题可联系东方老师微信：dfy_88888
【微信二维码图片】