| 专利号 | 2024114586869 | 申请日 | 2024-10-18 | 专利名称 | AR手术环境中基于颜色注意力的手势识别算法及系统 |
| 授权日 | 2025-11-14 | 专利权人 | 济南大学 | 发明人 | 徐涛;孙佳慧;李兆玉;杨晓晖;朱光泽;郭至玉 |
| 主分类号 | G06F3/01 | 关键词 | 应用领域 | ||
| 摘要 | 本申请公开了一种改进的适应手术环境下的手势识别方法及手术用具传递系统。其实现步骤为：利用AR眼镜第一视角捕获图像，同时将当前手术所需要的材料投影到AR眼镜中虚拟呈像辅助手术，将图像通过TCP/IP以及RosConnected传递给ROS系统，对图像进行预处理，利用RegNetCA网络进行手势识别，得到手势识别结果后进入判断门，指导机械臂进行相应物品抓取传递，利用kinova机械臂上的d435i进行物体识别，利用Yolov8识别物体返回物体三维坐标，利用坐标转换将相机坐标系下的物体坐标转换成整体坐标，机械臂得到坐标后达到目标点位进行抓取并将物品传递到指定位置。本发明形成了一个完整的无接触物体传递系统，通过融合颜色的手势识别算法提高了手势识别的准确率。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 人工智能 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
