unity调用摄像头获取手部姿势

在 Unity 中使用摄像头获取手部姿势数据并实现手势识别

为了在 Unity 中利用摄像头捕捉和识别手部姿态，可以采用 AR Foundation 和预训练的手势识别模型。AR Foundation 提供了一套跨平台的增强现实开发工具，支持多种设备上的摄像头访问。

准备工作

安装必要的软件包：

• 安装 AR Foundation 插件以及目标平台的支持库（如 ARCore 或 ARKit），以便于访问移动设备的摄像头功能[^1]。

配置项目设置以启用所需的权限和服务，确保应用能够在运行时请求相机访问权。

捕捉图像序列

通过 WebCamTexture 类启动默认摄像机或指定外部输入源，例如连接至 PC 的 USB 摄像头或其他 IP Camera 流地址。下面是一个简单的脚本来初始化 WebCamTexture 并将其渲染到 UI 上:

using UnityEngine;

public class WebcamFeed : MonoBehaviour {
    private WebCamTexture webcamTexture;
    
    void Start(){
        // 初始化WebcamTexture实例
        WebCamDevice[] devices = WebCamTexture.devices;
        if(devices.Length == 0){
            Debug.LogError("No camera found.");
            return;
        }
        
        string backCameraName = "";
        foreach(var device in devices){
            if(!device.isFrontFacing){ 
                backCameraName = device.name; break;
            }
        }

        webcamTexture = new WebCamTexture(backCameraName, Screen.width, Screen.height);
        GetComponent<Renderer>().material.mainTexture = webcamTexture;
        webcamTexture.Play();
    }
}
登录后复制

此代码片段会尝试打开后置摄像头并将捕获的画面显示在一个材质上[^4]。

集成手势识别模块

对于手势分类任务来说，最常用的方法之一就是借助 TensorFlow Lite、MediaPipe 等框架提供的预先训练好的机器学习模型来进行实时预测。Unity 支持导入 TFLite 文件并通过 C# API 调用推理接口完成这一过程。

假设已经拥有了一个可以在移动端高效工作的手势检测模型，则可以通过以下方式加载它并与上述视频流集成在一起：

using System.Collections.Generic;
using UnityEngine;
using Google.MLKit.Vision.Common;
using Google.MLKit.Vision.Hands;

// ...

void Update() {
    if(webcamTexture.isPlaying && Time.frameCount % skipFrames == 0) {
        var frame = new InputImage.BitmapBuilder().SetBitmap(TextureToBitmap(webcamTexture)).Build();

        handDetector.Process(frame).ContinueWith(task => {
            List<HandLandmark> landmarksList = task.Result.DetectedHands[0].GetAllLandmarks();
            
            // 对landmarksList 进行进一步处理...
        });
    }
}

private AndroidBitmap TextureToBitmap(WebCamTexture texture) {/*...*/} // 将纹理转换为位图格式适配 ML Kit 输入要求
登录后复制

这里展示了如何每隔几帧就从当前播放着的 webcamTexture 中抽取一帧用于传递给 MediaPipe Hands 组件做特征提取[^3]。

一旦获得了手的关键点坐标集合 (landmarksList) ，就可以定义一些逻辑去解析这些位置信息进而推断出手势类别，并据此触发相应