手势交互
该功能结合了地瓜的手势识别算法，实现通过手势与 RDK X5 Magicbox 的交互。
仓库地址
- 手势交互：https://github.com/D-Robotics/magicbox_gesture_interaction
- 相机功能：https://github.com/D-Robotics/magicbox_mipi_cam
- 人体检测：https://github.com/D-Robotics/mono2d_body_detection
- 人手关键点检测：https://github.com/D-Robotics/hand_lmk_detection
- 手势识别：https://github.com/D-Robotics/hand_gesture_detection
- WEB端渲染：https://github.com/D-Robotics/hobot_websocket
- 模型推理库：https://github.com/D-Robotics/hobot_dnn/tree/magicbox-v1.0.0
- 舵机控制库：https://github.com/D-Robotics/magicbox_servo_control
- 灯光控制库：https://github.com/D-Robotics/magicbox_lighting_control
IP 地址说明
- 使用闪连配置网络时 IP 为 http://192.168.128.10 。
- 使用有线网口配置网络时 IP 为 http://192.168.127.10 。
模型信息
| 功能 | 模型 | 输入尺寸 | 推理帧率（fps） |
|---|---|---|---|
| 人体检测 | fastrcnn | 1x3x544x960 | 125.21 |
| 人手关键点检测 | handLMKs | 8x21 | 948 |
| 手势识别 | gestureDet | 8x21 | 1252.44 |
手部动作及触发动作说明
| 手势 | 手部动作 | 触发动作 |
|---|---|---|
| ThumbUp | 竖起大拇指 | 摇臂摇晃 |
| Victory | "V"手势 | 摇臂撑起 |
| ThumbLeft | 大拇指向左 | 举起左摇臂 |
| ThumbRight | 大拇指向右 | 举起右摇臂 |
| Okay | OK手势 | 灯光闪烁 |
功能结构图
启动步骤
-
使用以下命令启动手势交互功能。
cd /userdata/magicbox
source /opt/tros/humble/setup.bash
source app/ros_ws/install/setup.bash
ros2 launch gesture_interaction gesture_interaction.launch.py -
通过网页访问 [IP]:8000 查看手势交互结果。
参考资料
用户手册：手势识别