29、神经网络之BP算法_实战预测案例_笔记

东方耀

29、神经网络之BP算法_实战预测案例_笔记


使用Python实现BP神经网络实现对公路客运量与公路货运量预测案例

1. # -*- coding: utf-8 -*-
   
2. __author__ = 'dongfangyao'
   
3. __date__ = '2018/12/14 上午11:01'
   
4. __product__ = 'PyCharm'
   
5. __filename__ = 'tf22'
   
6. 
   
7. import numpy as np
   
8. import matplotlib as mpl
   
9. import matplotlib.pyplot as plt
   
10. from sklearn.preprocessing import MinMaxScaler
    
11. import pandas as pd
    
12. 
    
13. ## 设置字符集，防止中文乱码
    
14. mpl.rcParams['font.sans-serif'] = [u'simHei']
    
15. mpl.rcParams['axes.unicode_minus'] = False
    
16. 
    
17. # 1. 读取数据
    
18. df = pd.read_csv('traffic_data.csv', encoding='utf-8')
    
19. print(df.head())
    
20. 
    
21. # 2. 读取特征属性X 与 目标属性Y
    
22. x = df[['人口数', '机动车数', '公路面积']]
    
23. y = df[['客运量', '货运量']]
    
24. 
    
25. # 3. 因为x和y的数据取值范围太大了，防止梯度爆炸，所以做一个归一化操作(使用区间缩放法)
    
26. x_scaler = MinMaxScaler(feature_range=(-1, 1))
    
27. y_scaler = MinMaxScaler(feature_range=(-1, 1))
    
28. x = x_scaler.fit_transform(x)
    
29. y = y_scaler.fit_transform(y)
    
30. 
    
31. # 为了后面和w进行矩阵的乘法操作
    
32. # 神经网络中 同一层之间的神经元没有关系
    
33. sample_in = x.T
    
34. sample_out = y.T
    
35. # sample_in 3*20
    
36. # sample_out 2*20
    
37. 
    
38. # 超参数
    
39. max_epochs = 60000
    
40. learn_rate = 0.035
    
41. mse_final = 6.5e-4
    
42. sample_number = x.shape[0]
    
43. input_number = 3
    
44. out_number = 2
    
45. hidden_unit_number = 8
    
46. 
    
47. # 网络参数
    
48. # 8*3的矩阵
    
49. w1 = 0.5 * np.random.rand(hidden_unit_number, input_number) - 0.1
    
50. # 8*1的矩阵
    
51. b1 = 0.5 * np.random.rand(hidden_unit_number, 1) - 0.1
    
52. # 2*8的矩阵
    
53. w2 = 0.5 * np.random.rand(out_number, hidden_unit_number) - 0.1
    
54. # 2*1的矩阵
    
55. b2 = 0.5 * np.random.rand(out_number, 1) - 0.1
    
56. 
    
57. 
    
58. def sigmoid(z):
    
59.     return 1.0 / (1 + np.exp(-z))
    
60. 
    
61. 
    
62. mse_history = []
    
63. # BP的计算
    
64. for i in range(max_epochs):
    
65.     # FP过程
    
66.     # 隐藏层的输出(8*20)
    
67.     hidden_out = sigmoid(np.dot(w1, sample_in) + b1)
    
68.     # 输出层的输出（为了简化我们的写法，输出层不进行sigmoid激活）（2*20）
    
69.     network_out = np.dot(w2, hidden_out) + b2
    
70. 
    
71.     # 错误 误差
    
72.     # 2*20
    
73.     err = sample_out - network_out
    
74.     mse = np.average(np.square(err))
    
75.     mse_history.append(mse)
    
76.     if mse < mse_final:
    
77.         break
    
78. 
    
79.     # BP过程
    
80.     # delta2: 2*20
    
81.     # 隐层与输出层之间的 2*20
    
82.     delta2 = -err
    
83.     # 输入层与隐层之间的
    
84.     delta1 = np.dot(w2.transpose(), delta2) * hidden_out * (1 - hidden_out)
    
85.     # w2的导数 2*8
    
86.     delta_w2 = np.dot(delta2, hidden_out.transpose())
    
87.     # b2的导数 2*1
    
88.     delta_b2 = np.dot(delta2, np.ones((sample_number, 1)))
    
89.     # w1的导数
    
90.     delta_w1 = np.dot(delta1, sample_in.transpose())
    
91.     # b1的导数
    
92.     delta_b1 = np.dot(delta1, np.ones((sample_number, 1)))
    
93.     # w2: 2*8的矩阵， 那也就是要求delta_w2必须是2*8的一个矩阵
    
94.     w2 -= learn_rate * delta_w2
    
95.     b2 -= learn_rate * delta_b2
    
96.     w1 -= learn_rate * delta_w1
    
97.     b1 -= learn_rate * delta_b1
    
98. 
    
99. # print('看误差是否在降低：', mse_history)
    
100. 
     
101. # 误差曲线图
     
102. mse_history10 = np.log10(mse_history)
     
103. min_mse = min(mse_history10)
     
104. plt.plot(mse_history10)
     
105. plt.plot([0, len(mse_history10)], [min_mse, min_mse])
     
106. ax = plt.gca()
     
107. ax.set_yticks([-2, -1, 0, 1, 2, min_mse])
     
108. ax.set_xlabel('iteration')
     
109. ax.set_ylabel('MSE')
     
110. ax.set_title('Log10 MSE History 东方耀 微信：dfy_88888', fontdict={'fontsize': 18, 'color': 'red'})
     
111. plt.show()
     
112. 
     
113. # 仿真输出和实际输出对比图
     
114. # 隐藏层输出
     
115. hidden_out = sigmoid((np.dot(w1, sample_in) + b1))
     
116. # 输出层输出
     
117. network_out = np.dot(w2, hidden_out) + b2
     
118. # 反转获取实际值
     
119. network_out = y_scaler.inverse_transform(network_out.T)
     
120. sample_out = y_scaler.inverse_transform(y)
     
121. 
     
122. fig, axes = plt.subplots(nrows=2, ncols=1, figsize=(12, 10))
     
123. line1, = axes[0].plot(network_out[:, 0], 'k', marker='o')
     
124. line2, = axes[0].plot(sample_out[:, 0], 'r', markeredgecolor='b', marker='*', markersize=9)
     
125. axes[0].legend((line1, line2), ('预测值', '实际值'), loc='upper left')
     
126. axes[0].set_title('客流量模拟 东方耀 微信：dfy_88888', fontdict={'fontsize': 18, 'color': 'red'})
     
127. line3, = axes[1].plot(network_out[:, 1], 'k', marker='o')
     
128. line4, = axes[1].plot(sample_out[:, 1], 'r', markeredgecolor='b', marker='*', markersize=9)
     
129. axes[1].legend((line3, line4), ('预测值', '实际值'), loc='upper left')
     
130. axes[1].set_title('货流量模拟 东方耀 微信：dfy_88888', fontdict={'fontsize': 18, 'color': 'red'})
     
131. plt.show()
     

复制代码

1. # 误差曲线图
   
2. mse_history10 = np.log10(mse_history)
   
3. min_mse = min(mse_history10)
   
4. plt.plot(mse_history10)
   
5. plt.plot([0, len(mse_history10)], [min_mse, min_mse])
   
6. ax = plt.gca()
   
7. ax.set_yticks([-2, -1, 0, 1, 2, min_mse])
   
8. ax.set_xlabel('iteration')
   
9. ax.set_ylabel('MSE')
   
10. ax.set_title('Log10 MSE History 东方耀 微信：dfy_88888', fontdict={'fontsize': 18, 'color': 'red'})
    
11. plt.show()
    
12. 
    
13. # 仿真输出和实际输出对比图
    
14. # 隐藏层输出
    
15. hidden_out = sigmoid((np.dot(w1, sample_in) + b1))
    
16. # 输出层输出
    
17. network_out = np.dot(w2, hidden_out) + b2
    
18. # 反转获取实际值
    
19. network_out = y_scaler.inverse_transform(network_out.T)
    
20. sample_out = y_scaler.inverse_transform(y)
    
21. 
    
22. fig, axes = plt.subplots(nrows=2, ncols=1, figsize=(12, 10))
    
23. line1, = axes[0].plot(network_out[:, 0], 'k', marker='o')
    
24. line2, = axes[0].plot(sample_out[:, 0], 'r', markeredgecolor='b', marker='*', markersize=9)
    
25. axes[0].legend((line1, line2), ('预测值', '实际值'), loc='upper left')
    
26. axes[0].set_title('客流量模拟 东方耀 微信：dfy_88888', fontdict={'fontsize': 18, 'color': 'red'})
    
27. line3, = axes[1].plot(network_out[:, 1], 'k', marker='o')
    
28. line4, = axes[1].plot(sample_out[:, 1], 'r', markeredgecolor='b', marker='*', markersize=9)
    
29. axes[1].legend((line3, line4), ('预测值', '实际值'), loc='upper left')
    
30. axes[1].set_title('货流量模拟 东方耀 微信：dfy_88888', fontdict={'fontsize': 18, 'color': 'red'})
    
31. plt.show()

复制代码