纯视觉动作捕捉 |
| 时间：2025-03-17 11:32:16 来源：互联网 作者： |
知乎最近打工的项目中，我负责了实时动捕的模块。项目要求实时交互，必须纯视觉，不能用穿戴设备。一开始做的是基于多目视觉关键点的动捕，效果虽好，但模型太慢这个模块达到了：1.实时：不需要gpu，在笔记本上帧率15-30fps，延迟<50ms。能应用 展开Mediapipe近年实时关键点检测技术越来越好，Mediapipe的这套方案是20年出的，性能、效果都优化的很好，而且接口也非 用mediapipe那实时性没问题了。然而性能和廉价牺牲了质量，这种关键点检测一般是用来做动作识别，类似于运 展开IK Solver与常见的IK目标不同，要鲁棒地驱动一个模型的话有几个问题：1.关键点的人体尺度和要驱动的模型的人体尺度可能不一致，身体各部位比例也 2. 目标关键点之间相互耦合，人体的骨骼也有耦合，不能分若干部位 展开处理Mediapipe的关键点首先第一点是怎么得到相机坐标系的3D关键点。Mediapipe在输出图像2D关键点然而我们同时有2D图像关键点和3D关键点，容易想到可以调用Perspective-n-Point然后是对抖动的平滑。我们要对关键点加很强的平滑，同时还要尽量不 展开性能在我的笔记本上，Mediapipe可以跑到20ms~30ms处理一帧640x480图片（不会跑满CPU，占用率不高）。遗憾的是mIK Solver不追踪手指的话一般涉及到30个左右的骨骼，这时可以跑到5-10ms一帧（纯单线程）；如果追踪手 展开来自 Zhihu内容Mediapipe处理Mediapipe的关键点IK Solver性能查看所有章节更多内容请查看https://zhuanlan.zhihu.com/p/591176427
基于视频的动作捕捉方案一览 前两者是云端服务，你把视频传上去之后，过段时间可以下载解析好的动作文件，两者都提供了试用期，方便大家测试。 ThreeDPoseUnityBarracuda 则是独立的 Unity 程序，可以直接从摄像头读取视 更多内容请查看https://zhuanlan.zhihu.com/p/349179328
|
|
