文章详情

摘要

手势识别对实现人机交互具有重要意义。为实现动态情况下算法高精度目标检测识别，首先以YOLOv5目标检测为基础，利用算法内部特征金字塔结构和多尺度融合的结构特征，确定目标手势的坐标信息。再通过MediaPipe模型对手部关键点进行检测，确定手部关节的向量角度，分析手指弯曲情况，从而判断手势的具体动作。采用位置确定和动作分类分模型实现的方式，有效改善了手势在动态情况下因旋转、遮挡等因素导致的识别率下降问题。训练样本选取HaGRID开源手势数据集中的6种类别，实验测试结果表明，结合后的算法在数据中单手识别检测精度均值达mAP@0.5，检测速度达到40 FPS，模型大小为88.5 MB。

关键词

手势识别；YOLOv5；MediaPipe；手部关节点检测；手势数据集

参考文献

1. [1] 陈睿智，谢晓雨，罗莹.科学教育测评中人机交互试题的发展、特征与启示 [J].中国考试，2024（8）：79-88.
2. [2] 高加瑞，杜洪波，蔡锦，等.基于MediaPipe的手势识别算法研究与应用 [J].智能计算机与应用，2024，14（4）：157-161.
3. [3] 袁荫，杨苏朋，陈孟元.动态场景下基于YOLOv5的SLAM算法 [J/OL].重庆工商大学学报：自然科学版，2024：1-9[2024-08-23].http://kns.cnki.net/kcms/detail/50.1155.N.20240816.0914.002.html.
4. [4] 文硕怡.基于深度学习的手势序列识别研究 [D].天津：天津职业技术师范大学，2024.
5. [5] 周楠.基于卷积神经网络的手势识别算法研究 [D].桂林：桂林理工大学，2022.
6. [6] BAI L，DING X W，LIU Y，et al. Multi-scale Feature Fusion Optical Remote Sensing Target Detection Method [J].Optoelectronics Letters，2025，21（4）：226-233.
7. [7] ABONDIO P，BRUNO F. Single-cell Pan-omics, Environmental Neurology, and Artificial Intelligence: The Time for Holistic Brain Health Research [J].Neural Rregeneration Rresearch，2025，20（6）：1703-1704.
8. [8] 罗怡.基于深度学习的手部姿态估计研究 [D].贵阳：贵州大学，2023.
9. [9] 刘晓克.基于深度学习的人体关节点检测算法研究 [D].秦皇岛：燕山大学，2019.
10. [10] 蔡宇.基于深度学习的手势识别算法研究 [D].呼和浩特：内蒙古大学，2023.
11. [11] 邱锋.基于深度学习的实时动态手势识别 [D].杭州：浙江大学，2020.
12. [12] 陈睿敏.手势识别关键技术及其在智能实验室中的应用研究 [D].中国科学院大学（中国科学院上海技术物理研究所），2017.
13. [13] 杨文姬.面向家庭服务机器人的手势交互技术研究 [D].秦皇岛：燕山大学，2015.
14. [14] 王凤艳.基于多模态输入的手势识别算法研究 [D].合肥：中国科学技术大学，2017.
15. [15] 尹康.基于多特征融合网络的手势轨迹识别研究 [D].成都：电子科技大学，2019.
16. [16] 白云超.手势行为的识别及语义表征技术 [D].南京：南京大学，2020.
17. [17] 王强宇.基于深度神经网络的动态手势识别技术研究 [D].北京：中国矿业大学（北京），2019.

作者简介

陈吴东（2003—），男，汉族，湖北荆州人，本科在读，研究方向：嵌入式系统。