FS_AIDH具身智能灵巧手开发套件采用桌面级一体化结构，将六自由度协作机械臂、二自由度主动视觉头部与十一自由度仿生灵巧手深度集成，形成完整的"看、想、动、抓"操作闭环。平台整体19个自由度，其中包含14个主动自由度和5个被动联动自由度，可满足从基础姿态控制到复杂抓取操作的多层次实验需求。

机械臂模块提供6个主动自由度，支持空间位姿控制、关节空间控制、末端IK控制和轨迹复现；主动视觉头部配备2个主动自由度，搭载深度相机，支持RGB、RGB-D、深度图像等第一人称视角数据采集；仿生灵巧手具备11个自由度（6主动+5被动联动），支持多指协同、顺应抓取和手势动作。平台内置完善的安全保护机制，包括轻微减速、明显减速、堵转急停、急停断电等，确保实验安全。通信方面，灵巧手基于CAN通信，机械臂基于串口通信，相机通过USB3接入，上位机通过Python SDK或Web控制端进行开发。

配套软件体系提供Python统一开发接口，覆盖运动控制、轨迹复现、末端控制、视觉数据读取等常用API。学生既可以从底层SDK直接编写程序，也可以通过Web控制端完成应用切换、状态监控、图像查看、控制目标切换和实验结果展示。

虚拟仿真系统可对灵巧手平台进行高保真建模，复现六轴机械臂、主动视觉头部和仿生灵巧手的三模块结构。学生可在虚拟环境中完成关节结构解析、控制协议调试、整机联合控制、IK末端位姿控制和键盘遥操作，支持通过MQTT进行真机、仿真、真机+仿真的控制目标切换，并支持强化学习Reach、Grasp等任务训练及Sim2Real策略迁移验证。

FS_AIDH配套完善的教学课程体系，涵盖AI基础课程（Python、PyTorch、机器学习、深度学习、计算机视觉、自然语言处理等）与灵巧手专项实验课程（Low-level/High-level Control、虚拟仿真、FS_Scratch与Python双路径实验、强化学习与Sim2Real等），可支撑从本科基础教学到研究生科研的完整教学链路。

1）臂、手、眼一体化设计，完整覆盖感知-决策-控制-执行全链路

将机械臂、灵巧手、主动视觉头部集成在桌面级平台内，降低系统集成难度，提供从视觉感知到运动执行的完整实验闭环。

2）软硬深度融合，课程体系同步交付

硬件、Python SDK、Web控制端、仿真系统、训练工具和课程资源同步交付，避免"设备到位、课程落不下来"的问题。

3）低门槛开发，兼顾本科教学与科研

支持Python统一API、示例代码、FS_Scratch积木化实验和Web可视化应用，学生可从图形化编程循序渐进过渡到底层SDK开发。

4）虚实协同，支持数字孪生与Sim2Real

支持真机、虚拟仿真、真机+仿真三种控制目标切换，可在仿真环境中完成算法调试与风险预演，再将策略直接部署至实物平台。

5）AI全栈贯通，覆盖前沿技术方向

基础课程覆盖Python、PyTorch、机器学习、深度学习、计算机视觉，再向机器人控制、VLA模型、强化学习方向延伸。

6）科研可扩展，支持二次开发创新

预留标准安装位和开发接口，支持外骨骼数据采集器、末端传感器、定制执行器和双臂协同系统扩展。

1.自动猜拳

通过 MediaPipe 手势识别玩家动作，机器人灵巧手执行对抗手势并自动判定胜负。

2.人脸检测与头部追踪

实时检测人脸，基于比例控制驱动主动视觉头部跟随画面中最大人脸。

3.YOLO 目标检测

调用 YOLOv8n 等检测模型识别常见物体，为抓取与任务规划提供视觉语义输入。

4.颜色识别

基于 HSV 颜色空间检测目标颜色并生成遮罩，可用于视觉定位与分拣类实验。

5.灵巧手镜像遥控

通过手部关键点追踪计算手指弯曲程度，驱动灵巧手进行实时镜像控制。

6.3D 点云

利用深度相机生成点云，可用于空间感知、距离测量和操作环境理解。

7.自动握手

视觉引导机械臂识别目标并完成主动握手，融合人机交互、轨迹规划和手部控制。

8.RL 位姿控制

通过强化学习策略实现灵巧手平台的位姿控制、触达任务或抓取任务验证。