2D人体姿态估计概述

东方耀

2D人体姿态估计概述


2D人体姿态估计的目标是定位并识别出人体关键点，这些关键点按照关节顺序相连，就可以得到人体的躯干，也就得到了人体的姿态


2D人体姿态估计主要可以分为单人姿态估计（Single Person Pose Estimation, SPPE）和多人姿态估计（Multi-person Pose Estimation, MPPE）两个子任务。


自上而下:这个方法是Detection+SPPE(先人体检测后单人姿态估计)，往往可以得到更好的精度，但是速度较慢。


自下而上:（从关键点到人）先使用一个model检测（locate）出图片中所有关键点，然后把这些关键点分组（group）到每一个人。这种方法往往速度可以实时，但是精度较差




人体不同于其他物体，人体不同关键点之间是有空间约束关系的，怎么去最好地捕捉人类关节之间的各种空间关系是关键




OpenPose 不仅可以估计姿态，还可以估计脸、手和脚的关键点，也就是全身都估计了遍。是目前Bottom-up方法中影响最大的工作。
网络结构基于CPM改进，网络包含两个分支，一个分支预测heatmap，另一个分支预测paf(part affine field)，paf也是这项工作的关键所在
paf是两个关节点连接的向量场，可以把它看做肢体，以paf为基础，把group的问题转化文二分图匹配（bipartite graph）的问题，使用匈牙利算法求解


大体的创新点主要集中在网络结构和特征表示两个方面，网络结构是一个填不满的坑，怎么更好的抽取信息，利用信息是网络结构设计的本质。
在输出特征的表示方面主要有heatmap和自定义的向量场，人为设计的向量也许可以更好地指引网络训练。
人体的关节点不是孤立的，利用好这种先验的肢体关系也可以更好地指导网络训练




Realtime Multi-Person Pose Estimation
这一模型和上面的OpenPose高度相关，同时特征模型能与多种框架相关联。论文的作者提供了一种自下而上的方法，对多人的姿态进行实时估计，不需要用任何人物探测器

bixintao

积分积分积分