【项目】02、基于Keras训练代码框架实现

东方耀

1、模型构建 def get_model
2、数据生成器 def batch_generator
3、开始训练网络 model.fit_generator
4、可视化 callbacks.TensorBoard   plt.savefig('train_test_loss.jpg')
5、图像预处理 数据增强等都没有实现


根据车载摄像头的画面，自动判断如何打方向盘？使用端到端（end-to-end）的深度神经网络CNN


Data Generator：无需预先生成所有图像增强后的图像，会占用太多的硬盘空间，会增加读取硬盘文件所需的时间


数据driving_log.csv文件中右 center left right steering角度   throttle油门 brake刹车  speed速度
我们这里只用 center 和 steering角度
csv文件的读取：
data_path = 'F:\\AI_Study_dfy\\项目：自动驾驶之方向盘转动角度预测data\\'
    with open(data_path + 'driving_log.csv', 'r') as csvfile:
        file_reader = csv.reader(csvfile, delimiter=',')
        log = []
        for row in file_reader:
            log.append(row)
    log = np.array(log)
    # 二维矩阵里面都是字符串
    print(log.shape)
    print(log.ndim)
    print(log.dtype)
    print(log[:5, :])


遇到问题：OpenCV无法读取中文路径
解决：http://www.ai111.vip/thread-861-1-1.html

1. # -*- coding: utf-8 -*-
   
2. __author__ = u'东方耀 微信：dfy_88888'
   
3. __date__ = '2019/10/18 11:49'
   
4. __product__ = 'PyCharm'
   
5. __filename__ = 'train_dfy'
   
6. 
   
7. import tensorflow as tf
   
8. import numpy as np
   
9. import torch as T
   
10. from keras.layers import Conv2D, MaxPooling2D, Flatten, PReLU
    
11. from keras.layers.core import Dense, Dropout, Activation
    
12. from keras.optimizers import SGD, Adam
    
13. from keras.models import Model, Sequential
    
14. from keras import backend as K
    
15. from keras.regularizers import l2
    
16. import os.path
    
17. import cv2
    
18. import skimage.io as iio
    
19. import csv
    
20. import glob
    
21. import pickle
    
22. from sklearn.utils import shuffle
    
23. from sklearn.model_selection import cross_validate
    
24. from sklearn.model_selection import train_test_split
    
25. import json
    
26. from keras import callbacks
    
27. import math
    
28. import matplotlib.pyplot as plt
    
29. 
    
30. SEED = 666
    
31. 
    
32. print(tf.__version__)
    
33. print(T.__version__)
    
34. 
    
35. 
    
36. def get_model(shape):
    
37.     """
    
38.     预测方向盘角度，以图像为输入，预测方向盘的转动角度
    
39.     :param shape: 图像尺寸 (128, 128, 3)  NHC
    
40.     :return:
    
41.     """
    
42.     model = Sequential(name='dfy_seq_model')
    
43.     # 第一层需要指定input_shape 后面不需要
    
44.     model.add(Conv2D(filters=24, kernel_size=(5, 5), strides=(2, 2),
    
45.                      padding='valid', data_format='channels_last', activation='relu', input_shape=shape))
    
46.     model.add(Conv2D(filters=36, kernel_size=(5, 5), strides=(2, 2),
    
47.                      padding='valid', data_format='channels_last', activation='relu'))
    
48.     model.add(Conv2D(filters=48, kernel_size=(5, 5), strides=(2, 2),
    
49.                      padding='valid', data_format='channels_last', activation='relu'))
    
50. 
    
51.     model.add(Conv2D(filters=64, kernel_size=(3, 3), strides=(1, 1),
    
52.                      padding='valid', data_format='channels_last', activation='relu'))
    
53.     model.add(Conv2D(filters=64, kernel_size=(3, 3), strides=(1, 1),
    
54.                      padding='valid', data_format='channels_last', activation='relu'))
    
55. 
    
56.     model.add(Flatten(data_format='channels_last'))
    
57.     model.add(Dense(units=1164, activation='relu'))
    
58.     model.add(Dense(units=100, activation='relu'))
    
59.     model.add(Dense(units=50, activation='relu'))
    
60.     model.add(Dense(units=10, activation='relu'))
    
61.     # 由于输出的角度是 （-pi/2, pi/2） 要选择好的激活函数
    
62.     model.add(Dense(units=1, activation='linear'))
    
63.     # compile: 1、指定优化器  2、损失函数
    
64.     model.compile(optimizer=Adam(learning_rate=0.001), loss='mean_squared_error')
    
65. 
    
66.     return model
    
67. 
    
68. 
    
69. # 开始数据增强（基于现有样本数据产生新的更多的训练数据）
    
70. def random_brightness(img, degree):
    
71.     """
    
72.     随机调整输入图像的亮度，调整强度于0.1(变黑)和1(无变化)之间
    
73.     :param img: 输入图像
    
74.     :param degree: 输入图像对应的转动角度
    
75.     :return:
    
76.     """
    
77. 
    
78.     return (img, degree)
    
79. 
    
80. 
    
81. def horizontal_flip(img, degree):
    
82.     """
    
83.     按照50%的概率水平翻转图像
    
84.     :param img: 输入图像
    
85.     :param degree: 输入图像对应的转动角度
    
86.     :return:
    
87.     """
    
88.     pass
    
89.     return (img, degree)
    
90. 
    
91. 
    
92. def left_right_random_swap(img_address, degree, degree_corr=1.0 / 4):
    
93.     """
    
94.     随机从左、中、右图像中选择一张图像，并相应调整转动的角度
    
95.     :param img_address: 中间图像的文件路径
    
96.     :param degree: 中间图像对应的方向盘转动角度
    
97.     :param degree_corr: 方向盘转动角度调整的值
    
98.     :return:
    
99.     """
    
100.     return (img_address, degree)
     
101. 
     
102. 
     
103. def discard_zero_steering(degrees, rate):
     
104.     """
     
105.     从角度为0的index中随机选择部分index返回
     
106.     :param degrees: 输入的角度值
     
107.     :param rate: 丢弃率 rate=0.8 表示80%的index返回
     
108.     :return:
     
109.     """
     
110.     return degrees
     
111. 
     
112. 
     
113. def image_transformation(img_address, degree, data_dir):
     
114.     # img_address, degree = left_right_random_swap(img_address, degree)
     
115.     # opencv 读出来的图像是 bgr的
     
116.     # print('开始读的图片地址(路径有中文)：', data_dir+img_address)
     
117.     img = iio.imread(data_dir + img_address)
     
118.     # cvt convert 颜色空间的转换
     
119.     img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
     
120.     # img, degree = random_brightness(img, degree)
     
121.     # img, degree = horizontal_flip(img, degree)
     
122.     return (img, degree)
     
123. 
     
124. 
     
125. def batch_generator(x, y, batch_size, shape, training=True, data_dir='data/', discard_rate=0.95):
     
126.     """
     
127.     产生批处理的数据Generator 高效读取数据
     
128.     Data Generator 无需预先生成所有图像增强后的图像，会占用太多的硬盘空间与增加读取硬盘文件所需的时间
     
129.     :param x: 图像文件路径list
     
130.     :param y: 方向盘的角度
     
131.     :param batch_size:
     
132.     :param shape: 输入图像的尺寸(HWC)
     
133.     :param training: True时产生训练数据 False时产生validation数据
     
134.     :param data_dir: 数据目录，包含一个IMG文件夹
     
135.     :param discard_rate: 随机丢弃角度=0的训练数据的比率
     
136.     :return:
     
137.     """
     
138.     if training:
     
139.         x, y = shuffle(x, y)
     
140.         rand_zero_idx = discard_zero_steering(y, rate=discard_rate)
     
141.         new_x = np.delete(x, rand_zero_idx, axis=0)
     
142.         new_y = np.delete(y, rand_zero_idx, axis=0)
     
143.     else:
     
144.         new_x = x
     
145.         new_y = y
     
146.     offset = 0
     
147.     while True:
     
148.         X = np.empty(shape=(batch_size, *shape))
     
149.         Y = np.empty(shape=(batch_size, 1))
     
150.         for example in range(batch_size):
     
151.             img_address, img_steering = new_x[example + offset], new_y[example + offset]
     
152.             if training:
     
153.                 img, img_steering = image_transformation(img_address, img_steering, data_dir)
     
154.             else:
     
155.                 img = iio.imread(data_dir + img_address)
     
156.                 img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
     
157.             # 先截取图像  后resize 再 归一化到[-0.5, 0.5]
     
158.             # [NHWC] 四维
     
159.             X[example, :, :, :] = cv2.resize(img[80:140, 0:320], (shape[0], shape[1])) / 255 - 0.5
     
160.             Y[example] = img_steering
     
161. 
     
162.             if (example + 1) + offset > len(new_y) - 1:
     
163.                 # 达到了原来数据的尾部，从头开始
     
164.                 x, y = shuffle(x, y)
     
165.                 rand_zero_idx = discard_zero_steering(y, rate=discard_rate)
     
166.                 new_x = x
     
167.                 new_y = y
     
168.                 new_x = np.delete(new_x, rand_zero_idx, axis=0)
     
169.                 new_y = np.delete(new_y, rand_zero_idx, axis=0)
     
170.                 offset = 0
     
171.         yield (X, Y) # 类似return 但有区别
     
172.         offset = offset + batch_size
     
173. 
     
174. 
     
175. if __name__ == '__main__':
     
176.     data_path = 'F:\\AI_Study_dfy\\项目：自动驾驶之方向盘转动角度预测data\\'
     
177.     with open(data_path + 'driving_log.csv', 'r') as csvfile:
     
178.         file_reader = csv.reader(csvfile, delimiter=',')
     
179.         log = []
     
180.         for row in file_reader:
     
181.             log.append(row)
     
182.     log = np.array(log)
     
183.     # 二维矩阵里面都是字符串
     
184.     print(log.shape)
     
185.     print(log.ndim)
     
186.     print(log.dtype)
     
187.     print(log[:5, :])
     
188.     # 去掉第一行 表头数据
     
189.     log = log[1:, :]
     
190.     ls_imgs = glob.glob(data_path + 'IMG/*.jpg')
     
191.     print('一共有%d张图片（包括中间、左边、右边）' % len(ls_imgs))
     
192.     assert len(ls_imgs) == len(log) * 3, 'number of images does not match!'
     
193.     # 使用20%的数据作为测试数据集
     
194.     test_ratio = 0.2
     
195.     shape = (128, 128, 3)
     
196.     batch_size = 20
     
197.     # 所有的数据跑多少轮？epoch
     
198.     nb_epoch = 30
     
199. 
     
200.     # 中间摄像头的图片路径 str
     
201.     x_ = log[:, 0]
     
202.     # steering  str---> float
     
203.     y_ = log[:, 3].astype(float)
     
204.     x_, y_ = shuffle(x_, y_)
     
205.     X_train, X_test, y_train, y_test = train_test_split(x_, y_, random_state=SEED, test_size=test_ratio)
     
206.     print('训练集大小：{}， 测试集大小：{}'.format(len(X_train), len(X_test)))
     
207. 
     
208.     steps_per_epoch = 20
     
209.     # 使得test数据集大小为batch_size的整数倍
     
210.     nb_test_samples = len(y_test) - len(y_test) % batch_size
     
211.     print('nb_test_samples size:', nb_test_samples)
     
212. 
     
213.     model = get_model(shape)
     
214.     # 生成模型结构汇总 挺好！
     
215.     print(model.summary())
     
216.     # 根据test loss保存最优模型
     
217.     save_best = callbacks.ModelCheckpoint(filepath='best_model.h5', monitor='val_loss', verbose=1,
     
218.                                           save_best_only=True, mode='min')
     
219.     # 如果训练连续patience=15（向后看多少步）val_loss did not improve（网络不收敛），提前结束训练
     
220.     # if (last_loss - current_loss) > min_delta 才算网络是在优化 否则表示loss没有在下降
     
221.     early_stop = callbacks.EarlyStopping(monitor='val_loss', min_delta=1e-5, patience=15, verbose=0, mode='auto')
     
222. 
     
223.     tb_callback = callbacks.TensorBoard(log_dir='./Graph', write_graph=True)
     
224. 
     
225.     callback_lists = [early_stop, save_best, tb_callback]
     
226. 
     
227.     # 开始训练网络
     
228.     history = model.fit_generator(
     
229.         generator=batch_generator(X_train, y_train, batch_size, shape, training=True, data_dir=data_path),
     
230.         steps_per_epoch=steps_per_epoch, validation_steps=nb_test_samples // batch_size,
     
231.         validation_data=batch_generator(X_test, y_test, batch_size, shape, training=False, data_dir=data_path),
     
232.         epochs=nb_epoch, verbose=1, callbacks=callback_lists)
     
233. 
     
234.     with open('./trainHistoryDict.pickle', 'wb') as file_pickle:
     
235.         pickle.dump(history.history, file_pickle)
     
236. 
     
237.     plt.plot(history.history['loss'])
     
238.     plt.plot(history.history['val_loss'])
     
239.     plt.title('model train vs test loss')
     
240.     plt.xlabel('epoch')
     
241.     plt.ylabel('loss')
     
242.     plt.legend(['train', 'test'], loc='upper right')
     
243.     plt.savefig('train_test_loss.jpg')
     
244.     # 模型保存
     
245.     with open('model.json', 'w') as f:
     
246.         f.write(model.to_json())
     
247.     model.save('model.h5')
     
248.     print('Done!')
     

复制代码

东方老师AI官网：http://www.ai111.vip
有任何问题可联系东方老师微信：dfy_88888
【微信二维码图片】

xsoft

谢谢老师提供的资料。

ljdxls111

dsffdsfsdfdsfds

ljdxls111

dsfsfsdfdsfsdfsdfds