19、Dlib中人脸配准有两种方式一种是使用 get_face_chip()方法

东方耀

19、Dlib中人脸配准有两种方式一种是使用 get_face_chip()方法

1. # -*- coding: utf-8 -*-
   
2. __author__ = u'东方耀 微信：dfy_88888'
   
3. __date__ = '2020/3/24 下午4:28'
   
4. __product__ = 'PyCharm'
   
5. __filename__ = 'dfy_demo03'
   
6. 
   
7. import cv2
   
8. import dlib
   
9. 
   
10. '''
    
11. 人脸配准
    
12. 人脸配准是很多其他功能的前提，比如我们最近做的一个脸型预测功能，就必须对人脸进行配准之后才能得到更好的准确率，
    
13. 否则脸在水平平面和垂直水平平面进行旋转都会影响准确率的计算。
    
14. Dlib中人脸配准有两种方式一种是使用 get_face_chip()方法，使用5个关键点模型来进行配准，
    
15. 这种方法Dlib已经提供了完整的接口，
    
16. 另一种是自己使用68点关键点模型，根据关键点信息求解变换矩阵，然后把变换矩阵应用到整个图像上。
    
17. 先看get_face_chip()方法:
    
18. 
    
19. 先检测人脸
    
20. 用得到的人脸位置信息来预测关键点
    
21. 再使用get_face_chips方法返回配准好的人脸
    
22. 这个get_face_chip()方法内部是怎么实现的，我现在还不知道
    
23. 
    
24. '''
    
25. 
    
26. img_path = '/home/dfy888/DataSets/64_CASIA-FaceV5/images_test/000/000_0.png'
    
27. 
    
28. predictor_path = './models/shape_predictor_5_face_landmarks.dat'
    
29. 
    
30. # 定义人脸关键点检测器
    
31. sp = dlib.shape_predictor(predictor_path)
    
32. 
    
33. hog_detector = dlib.get_frontal_face_detector()
    
34. cnn_detector = dlib.cnn_face_detection_model_v1('./models/mmod_human_face_detector.dat')
    
35. 
    
36. 
    
37. img_data = cv2.imread(img_path)
    
38. cv2.imshow('orig', img_data)
    
39. cv2.waitKey(0)
    
40. 
    
41. rgb_img2 = img_data[:, :, ::-1]
    
42. 
    
43. 
    
44. def align_face(detector, five_landmarks_predictor, rgb_img, height=512, width=0):
    
45.     # gray_img = cv2.cvtColor(rgb_img, cv2.COLOR_RGB2GRAY)
    
46.     faceRects = detector(rgb_img, 0)
    
47.     print('检测出%d个人脸' % len(faceRects))
    
48.     faces = dlib.full_object_detections()
    
49.     faces.append(five_landmarks_predictor(rgb_img, faceRects[0].rect))
    
50.     # for faceRect in faceRects:
    
51.     #     faces.append(five_landmarks_predictor(rgb_img, faceRect.rect))
    
52.     if len(faces) != 0:
    
53.         face = dlib.get_face_chip(rgb_img, faces[0], size=139, padding=0.25)
    
54.         print(face.shape)
    
55.         cv2.imshow("aligned_face", face[:, :, ::-1])
    
56. 
    
57. 
    
58. align_face(cnn_detector, sp, rgb_img2)
    
59. cv2.waitKey(0)
    

复制代码

东方耀

成功跑起来的例子：

1. 
   
2. img_data = cv2.imread('/home/dfy888/DataSets/64_CASIA-FaceV5/images_test/000/000_0.png')
   
3. 
   
4. # current word dict
   
5. print(os.getcwd())
   
6. # 定义人脸检测器
   
7. # detector = dlib.get_frontal_face_detector()
   
8. cnn_face_detector = dlib.cnn_face_detection_model_v1('./models/mmod_human_face_detector.dat')
   
9. 
   
10. predictor_path = './models/shape_predictor_5_face_landmarks.dat'
    
11. 
    
12. # 定义人脸关键点检测器
    
13. sp = dlib.shape_predictor(predictor_path)
    
14. 
    
15. # OpenCV + Dlib对人脸位置进行校准  查找脸部位置
    
16. fo = dlib.full_object_detections()
    
17. 
    
18. # img_path = '/home/dfy888/DataSets/CelebA/img_align_celeba/100205.jpg'
    
19. # img_path = './testimgs/img01.png'
    
20. # # img_path = '/home/dfy888/DataSets/VOCdevkit_widerface_dfy/VOC2020/JPEGImages/9--Press_Conference_9_Press_Conference_Press_Conference_9_91.jpg'
    
21. # img_data = cv2.imread(img_path)
    
22. print(img_data.shape)
    
23. 
    
24. 
    
25. img = img_data[:, :, ::-1]
    
26. # 1、人脸检测：使用 Dlib 中预先训练的模型检测面部
    
27. 
    
28. dets = cnn_face_detector(img, 0)
    
29. # dets = detector(img, 1)
    
30. 
    
31. num_faces = len(dets)
    
32. print('检测出%d个人脸' % num_faces)
    
33. 
    
34. if num_faces == 1:
    
35.     # 获取人脸的坐标  注意img与img_data的区别
    
36.     x1 = dets[0].rect.left()
    
37.     y1 = dets[0].rect.top()
    
38.     x2 = dets[0].rect.right()
    
39.     y2 = dets[0].rect.bottom()
    
40.     cv2.rectangle(img_data, (x1, y1), (x2, y2), (0, 0, 255), 2)
    
41.     landmarks = np.matrix([[p.x, p.y] for p in sp(img, dets[0].rect).parts()])
    
42.     print('每个人脸的关键点个数：', len(landmarks))
    
43.     for point in landmarks:
    
44.         pos = (point[0, 0], point[0, 1])
    
45.         print('pos-', pos)
    
46.         cv2.circle(img_data, pos, 2, color=(0, 255, 255), thickness=3)
    
47.     # 下面开始clip 查找脸部位置
    
48.     fo.append(sp(img, dets[0].rect))
    
49.     image = dlib.get_face_chip(img, fo[0], size=139)
    
50.     fo.pop()
    
51.     image = image[:, :, ::-1]
    
52.     cv2.imshow('chip shape:%s' % str(image.shape), image)
    
53.     cv2.waitKey(0)
    
54.     pass
    
55. 
    
56. 
    
57. cv2.imshow('origianl+face', img_data)
    
58. cv2.waitKey(0)
    
59. 
    
60. 
    

复制代码

lyh

谢谢楼主分享代码

栀子花

感谢楼主的分享

terry122222

感谢楼主的分享