车牌照图片识别预处理（核心技巧）

东方耀

车牌照图片识别预处理（核心技巧）：
1、图像重置大小 变成正方形 并转换为单通道的黑白图片
2、通过卷积操作 对轮廓信息提取
3、二值化操作 让轮廓信息像素变成纯白 其他位置纯黑
4、最大池化操作(多次) 让白色区域扩大或膨胀（将这些白色区域的周边也变成白色的，连成一片）
5、将有一些膨胀不太好的地方，还原成黑色 乘以-1之后的最大池化
6、继续最大池化操作(多次) 继续膨胀

1. # -- encoding:utf-8 --
   
2. """
   
3. 车牌照图片识别预处理（核心技巧）：
   
4. 1、图像重置大小 变成正方形 并转换为单通道的黑白图片
   
5. 2、通过卷积操作 对轮廓信息提取
   
6. 3、二值化操作 让轮廓信息像素变成纯白 其他位置纯黑
   
7. 4、最大池化操作(多次) 让白色区域扩大或膨胀（将这些白色区域的周边也变成白色的，连成一片）
   
8. 5、将有一些膨胀不太好的地方，还原成黑色 乘以-1之后的最大池化
   
9. 6、继续最大池化操作(多次) 继续膨胀
   
10. """
    
11. 
    
12. import matplotlib.pyplot as plt
    
13. import tensorflow as tf
    
14. 
    
15. 
    
16. def show_image_tensor(image_tensor):
    
17.     # 要求：使用交互式会话
    
18.     # 获取图像tensor对象对应的image对象，image对象时一个[h,w,c]
    
19.     # print(image_tensor)
    
20.     image = image_tensor.eval()
    
21.     # print(image)
    
22.     print("图像大小为:{}".format(image.shape))
    
23.     if len(image.shape) == 3 and image.shape[2] == 1:
    
24.         # 黑白图像
    
25.         plt.imshow(image[:, :, 0], cmap='Greys_r')
    
26.         plt.show()
    
27.     elif len(image.shape) == 3:
    
28.         # 彩色图像
    
29.         plt.imshow(image)
    
30.         plt.show()
    
31. 
    
32. 
    
33. sess = tf.InteractiveSession()
    
34. path = '0.jpg'
    
35. 
    
36. # 读取图像数据并转换为[height, width, channels]的格式
    
37. img = tf.image.decode_jpeg(tf.read_file(path), channels=3)
    
38. # # 图像重置大小
    
39. img = tf.image.resize_images(img, size=(300, 300), method=tf.image.ResizeMethod.NEAREST_NEIGHBOR)
    
40. # # 将图像转换为黑白的图像
    
41. img = tf.image.rgb_to_grayscale(img)
    
42. # old_img = img
    
43. 
    
44. # 边缘/轮廓信息提取（卷积操作）
    
45. img = tf.cast(img, dtype=tf.float32)
    
46. # (300, 300, 1) --->变成 (1, 300, 300, 1) [NHWC]
    
47. img = tf.expand_dims(img, 0)
    
48. 
    
49. for i in range(1):
    
50.     sobel_gx = [-1, 0, +1, 0, 0, 0, -1, 0, +1]
    
51.     # [filter_height, filter_width, in_channels, out_channels]
    
52.     filter = tf.constant(value=sobel_gx, dtype=tf.float32, shape=[3, 3, 1, 1])
    
53. 
    
54.     img = tf.nn.conv2d(img, filter=filter, strides=[1, 1, 1, 1], padding='SAME', data_format='NHWC')
    
55. 
    
56. img = img[0]
    
57. 
    
58. #
    
59. # 二值化，小于等于170的设置为0，大于170设置为255
    
60. # condition? True : False
    
61. img = tf.where(tf.less_equal(img, 170), tf.zeros_like(img), tf.ones_like(img) * 255)
    
62. #
    
63. # 将白色的区域(车牌区域就是白色的)，扩大/膨胀 ==> 将这些白色区域的周边也变成白色的 ==> 只需要做一个maxpool
    
64. # 变成 (1, 300, 300, 1) [NHWC]
    
65. img = tf.expand_dims(img, 0)
    
66. # 膨胀
    
67. for i in range(2):
    
68.     # 池化核大小： 2*3
    
69.     img = tf.nn.max_pool(img, ksize=(1, 2, 3, 1), strides=(1, 1, 1, 1), padding='SAME', data_format="NHWC")
    
70. 
    
71. # # 将有一些膨胀不太好的地方，还原成黑色
    
72. img = tf.nn.max_pool(img * -1, ksize=(1, 3, 1, 1), strides=(1, 1, 1, 1), padding='SAME', data_format="NHWC")
    
73. img = img * -1
    
74. #
    
75. # # 继续膨胀一次
    
76. for i in range(5):
    
77.     img = tf.nn.max_pool(img, ksize=(1, 1, 5, 1), strides=(1, 1, 1, 1), padding='SAME', data_format="NHWC")
    
78. 
    
79. # 维度还原：(300, 300, 1)
    
80. img = img[0]
    
81. 
    
82. print(img)
    
83. print(img.get_shape())
    
84. show_image_tensor(img)
    

复制代码

1. # -- encoding:utf-8 --
   
2. """
   
3. 提取车牌号(使用OpenCV的方式)
   
4. OpenCV 图像处理 封装得非常好
   
5. 
   
6. 下载opencv：https://www.lfd.uci.edu/~gohlke/pythonlibs/
   
7. 通过whl文件安装 比较好
   
8. opencv_python-4.0.1-cp36-cp36m-win_amd64.whl
   
9. 
   
10. pip install wheel
    
11. pip install xxx.whl
    
12. 
    
13. opencv-python      4.0.1
    
14. 
    
15. """
    
16. 
    
17. import cv2
    
18. import numpy as np
    
19. 
    
20. 
    
21. def preprocess(gray):
    
22.     """
    
23.     对灰度对象进行形态转换（预处理）
    
24.     :param gray:
    
25.     :return:
    
26.     """
    
27.     # 高斯平滑
    
28.     gaussian = cv2.GaussianBlur(gray, (3, 3), 0, 0, cv2.BORDER_DEFAULT)
    
29. 
    
30.     # 中值滤波
    
31.     median = cv2.medianBlur(gaussian, 5)
    
32. 
    
33.     # Sobel算子，对边缘进行处理(获取边缘信息，其实就是卷积过程 3*3)
    
34.     # x：[-1, 0, +1, -2, 0, +2, -1, 0, +1]
    
35.     # y：[-1, -2, -1, 0, 0, 0, +1, +2, +1]
    
36.     sobel = cv2.Sobel(median, cv2.CV_8U, 1, 0, ksize=3)
    
37. 
    
38.     # 二值化 170作为分界值 0或255
    
39.     ret, binary = cv2.threshold(sobel, 170, 255, cv2.THRESH_BINARY)
    
40. 
    
41.     # 膨胀&腐蚀
    
42.     element1 = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 1))
    
43.     element2 = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 7))
    
44.     # 膨胀一次，让轮廓突出
    
45.     dilation = cv2.dilate(binary, element2, iterations=1)
    
46.     # 腐蚀一次，去掉细节
    
47.     erosion = cv2.erode(dilation, element1, iterations=1)
    
48.     # 再次膨胀，让轮廓明显一些
    
49.     dilation2 = cv2.dilate(erosion, element2, iterations=3)
    
50. 
    
51.     # cv2.imshow('dfy', dilation2)
    
52.     # cv2.waitKey(0)
    
53. 
    
54.     return dilation2
    
55. 
    
56. 
    
57. def find_plate_number_region(img):
    
58.     """
    
59.     寻找可能是车牌区域的轮廓
    
60.     :param img:
    
61.     :return:
    
62.     """
    
63.     # 查找轮廓(img: 原始图像，contours：矩形坐标点，hierarchy：图像层次)
    
64.     #  contours, hierarchy
    
65.     # img, contours, hierarchy = cv2.findContours(img, mode=cv2.RETR_TREE, method=cv2.CHAIN_APPROX_SIMPLE)
    
66.     contours, hierarchy = cv2.findContours(img, mode=cv2.RETR_TREE, method=cv2.CHAIN_APPROX_SIMPLE)
    
67. 
    
68.     # 查找矩形
    
69.     max_ratio = -1
    
70.     max_box = None
    
71.     ratios = []
    
72.     number = 0
    
73.     for i in range(len(contours)):
    
74.         cnt = contours[i]
    
75. 
    
76.         # 计算轮廓面积
    
77.         area = cv2.contourArea(cnt)
    
78.         # 面积太小的过滤掉 1000是阈值 自己给定
    
79.         if area < 1000:
    
80.             continue
    
81. 
    
82.         # 找到最小的矩形
    
83.         rect = cv2.minAreaRect(cnt)
    
84. 
    
85.         # 矩形的四个坐标（顺序不定，但是一定是一个左下角、左上角、右上角、右下角这种循环顺序(开始是哪个点未知)）
    
86.         box = cv2.boxPoints(rect)
    
87.         # 转换为long类型
    
88.         box = np.int0(box)
    
89. 
    
90.         # 计算长宽高
    
91.         height = abs(box[0][1] - box[2][1])
    
92.         weight = abs(box[0][0] - box[2][0])
    
93.         ratio = float(weight) / float(height)
    
94.         # 正常的车牌宽高比在2.7~5之间
    
95.         if ratio > max_ratio:
    
96.             max_box = box
    
97. 
    
98.         if ratio > 5.5 or ratio < 2:
    
99.             continue
    
100. 
     
101.         # 将结果添加到序列中
     
102.         number += 1
     
103.         ratios.append((box, ratio))
     
104. 
     
105.     # 根据找到的图像矩阵数量进行数据输出
     
106.     if number == 1:
     
107.         # 直接返回
     
108.         return ratios[0][0]
     
109.     elif number > 1:
     
110.         # 有多个满足条件的
     
111.         # 如果存在多个，这里不做太多考虑，直接返回一个最可能的（也就是ratio在2.7~5之间的中间数字的那个图像）
     
112.         # TODO: 实际上可以在这里训练一个模型，用于判断图片中是否有车牌照（就一个简单的神经网络即可）
     
113.         filter_ratios = list(filter(lambda t: t[1] >= 2.7 and t[1] <= 5, ratios))
     
114.         size_filter_ratios = len(filter_ratios)
     
115.         if size_filter_ratios == 1:
     
116.             return filter_ratios[0][1]
     
117.         elif size_filter_ratios > 1:
     
118.             r = [filter_ratios[i][1] for i in range(size_filter_ratios)]
     
119.             sort_r = np.argsort(r)
     
120.             return filter_ratios[int(len(sort_r) / 2)][0]
     
121.         else:
     
122.             # 直接返回最大值
     
123.             max_index = np.argmax(ratios, 0)
     
124.             return ratios[max_index[1]][1]
     
125.     else:
     
126.         # 直接返回最大值
     
127.         return max_box
     
128. 
     
129. 
     
130. def cut(img_or_img_path):
     
131.     """
     
132.     截取车牌区域
     
133.     :param img:
     
134.     :return:
     
135.     """
     
136.     if isinstance(img_or_img_path, str):
     
137.         img = cv2.imread(img_or_img_path)
     
138.     else:
     
139.         img = img_or_img_path
     
140. 
     
141.     # 将图像转换为灰度图
     
142.     gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
     
143. 
     
144.     # 图像预处理
     
145.     dilation = preprocess(gray)
     
146. 
     
147.     # 查找车牌区域(只会有一个)
     
148.     box = find_plate_number_region(dilation)
     
149. 
     
150.     # 返回区域对应的图像
     
151.     # 因为不知道，点的顺序，所以对左边点坐标排序
     
152.     ys = [box[0, 1], box[1, 1], box[2, 1], box[3, 1]]
     
153.     xs = [box[0, 0], box[1, 0], box[2, 0], box[3, 0]]
     
154.     ys_sorted_index = np.argsort(ys)
     
155.     xs_sorted_index = np.argsort(xs)
     
156. 
     
157.     # 获取x上的坐标
     
158.     x1 = box[xs_sorted_index[0], 0]
     
159.     x2 = box[xs_sorted_index[3], 0]
     
160. 
     
161.     # 获取y上的坐标
     
162.     y1 = box[ys_sorted_index[0], 1]
     
163.     y2 = box[ys_sorted_index[3], 1]
     
164. 
     
165.     # 截取图像
     
166.     img_plate = img[y1:y2, x1:x2]
     
167. 
     
168.     return img_plate
     
169. 
     
170. 
     
171. if __name__ == '__main__':
     
172.     path = '0.jpg'
     
173.     cut_img = cut(path)
     
174.     print(cut_img.shape)
     
175.     cv2.imwrite('test.jpg', cut_img)
     
176.     cv2.imshow('wx:dfy_88888', cut_img)
     
177.     cv2.waitKey(0)
     
178. 
     

复制代码

gzqreder

多谢分享

Walkerwang

学习了333