09、pytorch中(指数与L2)归一化的几种实现

东方耀

09、pytorch中(指数与L2)归一化的几种实现

1. # -*- coding: utf-8 -*-
   
2. __author__ = u'东方耀 微信：dfy_88888'
   
3. __date__ = '2020/6/5 上午8:41'
   
4. __product__ = 'PyCharm'
   
5. __filename__ = 'dfy_demo01'
   
6. 
   
7. 
   
8. import torch
   
9. import torch.nn.functional as F
   
10. import numpy as np
    
11. import math
    
12. 
    
13. # 需要对特征向量进行归一化 p=2就是l2归一化吗？
    
14. # x = F.normalize(x, p=2, dim=1)
    
15. 
    
16. 
    
17. def l2_norm(input, axis=1):
    
18.     norm = torch.norm(input, p=2, dim=axis, keepdim=True)
    
19.     print("欧式距离p=2：", norm)
    
20.     output = torch.div(input, norm)
    
21.     return output
    
22. 
    
23. a = np.array([[1, 2, 3], [4, 5, 6]], dtype=np.float32)
    
24. t = torch.from_numpy(a)
    
25. 
    
26. print(t, t.size())
    
27. # 2*3  2个样本 特征向量维度为3
    
28. # softmax本身就是指数的归一化函数
    
29. print("指数的归一化:", F.softmax(t, dim=1))
    
30. print("指数的归一化后取对数", F.log_softmax(t, dim=1))
    
31. #
    
32. # 下面自己用数学公式实现
    
33. fenzi = math.exp(1)
    
34. fenmu = math.exp(1) + math.exp(2) + math.exp(3)
    
35. print(fenzi / fenmu)
    
36. print(math.log(fenzi /fenmu))
    
37. 
    
38. print("*"*50)
    
39. # dim=1 还是列的方向  就是一行
    
40. print("L2的归一化:", F.normalize(t, p=2, dim=1))
    
41. print("手动计算：", 1.0 / (math.sqrt(1*1 + 2*2 + 3*3)))
    
42. 
    
43. print(l2_norm(t, axis=1))
    
44. # torch.norm 计算各种距离 p=2欧式距离
    
45. # torch.nn.functional.normalize()  归一化
    
46. # pytorch中(指数与L2)归一化的几种实现
    
47. 
    

复制代码