10、OpenCV + Dlib人脸检测与对人脸位置进行校准与裁剪

东方耀

10、OpenCV + Dlib人脸检测与对人脸位置进行校准与裁剪


人脸校准：使用 Dlib 的实时姿势估计与 OpenCV 的仿射变换来尝试使眼睛和下唇在每个图像上出现在相同位置

1. # -*- coding: utf-8 -*-
   
2. __author__ = u'东方耀 微信：dfy_88888'
   
3. __date__ = '2020/2/24 上午9:34'
   
4. __product__ = 'PyCharm'
   
5. __filename__ = 'dfy_demo01'
   
6. 
   
7. import numpy as np
   
8. import os
   
9. import cv2
   
10. import dlib
    
11. 
    
12. # current word dict
    
13. print(os.getcwd())
    
14. # 定义人脸检测器
    
15. detector = dlib.get_frontal_face_detector()
    
16. predictor_path = 'models/shape_predictor_5_face_landmarks.dat'
    
17. 
    
18. # 定义人脸关键点检测器
    
19. sp = dlib.shape_predictor(predictor_path)
    
20. 
    
21. # OpenCV + Dlib对人脸位置进行校准  查找脸部位置
    
22. fo = dlib.full_object_detections()
    
23. 
    
24. # img_path = '/home/dfy888/DataSets/CelebA/img_align_celeba/100205.jpg'
    
25. img_path = './testimgs/img01.png'
    
26. # img_path = '/home/dfy888/DataSets/VOCdevkit_widerface_dfy/VOC2020/JPEGImages/9--Press_Conference_9_Press_Conference_Press_Conference_9_91.jpg'
    
27. img_data = cv2.imread(img_path)
    
28. print(img_data.shape)
    
29. 
    
30. 
    
31. img = img_data[:, :, ::-1]
    
32. # 1、人脸检测：使用 Dlib 中预先训练的模型检测面部
    
33. # 这里 0 或 1的区别是？  0是只检测一个人脸 1是所有的
    
34. dets = detector(img, 1)
    
35. 
    
36. num_faces = len(dets)
    
37. print('检测出%d个人脸' % num_faces)
    
38. 
    
39. if num_faces > 0:
    
40.     for i in range(num_faces):
    
41.         # 获取人脸的坐标  注意img与img_data的区别
    
42.         x1 = dets[i].left()
    
43.         y1 = dets[i].top()
    
44.         x2 = dets[i].right()
    
45.         y2 = dets[i].bottom()
    
46.         cv2.rectangle(img_data, (x1, y1), (x2, y2), (0, 0, 255), 2)
    
47.         landmarks = np.matrix([[p.x, p.y] for p in sp(img, dets[i]).parts()])
    
48.         print('每个人脸的关键点个数：', len(landmarks))
    
49.         for point in landmarks:
    
50.             pos = (point[0, 0], point[0, 1])
    
51.             # print('pos-', pos)
    
52.             cv2.circle(img_data, pos, 1, color=(0, 255, 255), thickness=3)
    
53.         # 下面开始clip 查找脸部位置
    
54.         fo.append(sp(img, dets[i]))
    
55.         image = dlib.get_face_chip(img, fo[i], size=139)
    
56.         image = image[:, :, ::-1]
    
57.         cv2.imshow('chip shape:%s' % str(image.shape), image)
    
58.         cv2.waitKey(0)
    
59.         pass
    
60. 
    
61. 
    
62. cv2.imshow('origianl+face', img_data)
    
63. cv2.waitKey(0)
    
64. 
    
65. 
    

复制代码

东方耀

用cnn的人脸检测器 无法校准

1. 
   
2. import numpy as np
   
3. import os
   
4. import cv2
   
5. import dlib
   
6. import json
   
7. import random
   
8. 
   
9. img_data = cv2.imread('/home/dfy888/DataSets/64_CASIA-FaceV5/images_test/000/000_0.png')
   
10. 
    
11. # current word dict
    
12. print(os.getcwd())
    
13. # 定义人脸检测器
    
14. # detector = dlib.get_frontal_face_detector()
    
15. cnn_face_detector = dlib.cnn_face_detection_model_v1('./models/mmod_human_face_detector.dat')
    
16. 
    
17. predictor_path = './models/shape_predictor_5_face_landmarks.dat'
    
18. 
    
19. # 定义人脸关键点检测器
    
20. sp = dlib.shape_predictor(predictor_path)
    
21. 
    
22. # OpenCV + Dlib对人脸位置进行校准  查找脸部位置
    
23. fo = dlib.full_object_detections()
    
24. 
    
25. # img_path = '/home/dfy888/DataSets/CelebA/img_align_celeba/100205.jpg'
    
26. # img_path = './testimgs/img01.png'
    
27. # # img_path = '/home/dfy888/DataSets/VOCdevkit_widerface_dfy/VOC2020/JPEGImages/9--Press_Conference_9_Press_Conference_Press_Conference_9_91.jpg'
    
28. # img_data = cv2.imread(img_path)
    
29. print(img_data.shape)
    
30. 
    
31. 
    
32. img = img_data[:, :, ::-1]
    
33. # 1、人脸检测：使用 Dlib 中预先训练的模型检测面部
    
34. # 这里 0 或 1的区别是？  0是只检测一个人脸 1是所有的
    
35. dets = cnn_face_detector(img, 1)
    
36. 
    
37. num_faces = len(dets)
    
38. print('检测出%d个人脸' % num_faces)
    
39. 
    
40. if num_faces > 0:
    
41.     for i in range(num_faces):
    
42.         # 获取人脸的坐标  注意img与img_data的区别
    
43.         x1 = dets[i].rect.left()
    
44.         y1 = dets[i].rect.top()
    
45.         x2 = dets[i].rect.right()
    
46.         y2 = dets[i].rect.bottom()
    
47.         cv2.rectangle(img_data, (x1, y1), (x2, y2), (0, 0, 255), 2)
    
48.         landmarks = np.matrix([[p.x, p.y] for p in sp(img, dets[i].rect).parts()])
    
49.         print('每个人脸的关键点个数：', len(landmarks))
    
50.         for point in landmarks:
    
51.             pos = (point[0, 0], point[0, 1])
    
52.             # print('pos-', pos)
    
53.             cv2.circle(img_data, pos, 1, color=(0, 255, 255), thickness=3)
    
54.         # 下面开始clip 查找脸部位置
    
55.         fo.append(sp(img, dets[i].rect))
    
56.         image = dlib.get_face_chip(img, fo[i], size=139)
    
57.         image = image[:, :, ::-1]
    
58.         cv2.imshow('chip shape:%s' % str(image.shape), image)
    
59.         cv2.waitKey(0)
    
60.         pass
    
61. 
    
62. 
    
63. cv2.imshow('origianl+face', img_data)
    
64. cv2.waitKey(0)
    
65. 
    
66. 
    
67. 
    

复制代码

东方耀

# detector检测那块，后面的数字代表我们对图片进行上采样，
# 然后检测，0不做处理，1上采样一倍。相对来说图片越大，检测到的可能性越大，但是速度会越慢

东方耀

# Dlib提供的这两个检测模型都只能检测脸部区域在70*70以上的图片，对于脸部区域太小的图片无法检测
# Dlib检测出的脸部区域对于下巴和额头区域会做过多的裁剪，这也是这两个模型的缺点

东方耀

东方耀 发表于 2020-3-24 15:15
用cnn的人脸检测器 无法校准

用cnn的人脸检测器 无法校准
只需要将dets = cnn_face_detector(img, 1)中
1改为0即可