文章详情

摘要

为了更好地传承传统文化皮影戏，提出了一套基于人体姿态估计的多维交互智能皮影系统，包括皮影机器人和虚拟皮影人。该系统应用了人体姿态估计网络，使用运动算法计算骨骼旋转角度，并设计了一款类人体机械结构应用到皮影上，可以与观众进行多维交互。为了优化皮影系统的流畅性，文章提出了针对皮影戏表演特点的基于透视投影约束的三维关键点优化方案和防遮挡策略。在输出上，增加了卡尔曼滤波，在Jetson AGX上将模型轻量化，并实现了TensorRT加速。经过这些模块处理后，皮影系统的识别准确度和动作流畅度都得到了不小于30%的提升，帧速率达到了33帧/秒。

关键词

深度学习；人体姿态估计；多维交互；皮影戏

参考文献

1. [1] 欧阳军喜，崔春雪.中国传统文化与社会主义核心价值观的培育 [J].山东社会科学，2013（3）：11-15.
2. [2] 李宗桂.试论中国优秀传统文化的内涵 [J].学术研究，2013（11）：35-39.
3. [3] 张宇，温光照，米思娅，等.基于深度学习的二维人体姿态估计综述 [J].软件学报，2022，33（11）：4173-4191.
4. [4] 孔英会，秦胤峰，张珂.深度学习二维人体姿态估计方法综述 [J].中国图象图形学报，2023，28（7）：1965-1989.
5. [5] 曹晓瑜，夏端峰.基于深度学习的人体姿态估计方法综述 [J].现代信息科技，2022，6（23）：1-6.
6. [6] 廖海燕，王婧怡，希治远，等.一种用于皮影戏表演的可扩展机器人装置 [J].电子制作，2022，30（18）：83-85+89.
7. [7] 崔鑫，王新怀，徐茵，等.机电一体化的智能皮影表演系统 [J].电子产品世界，2020，27（9）：50-52.
8. [8] 倪广兴，徐华，王超.融合改进YOLOv5及Mediapipe的手势识别研究[J].计算机工程与应用，2024，60（7）：108-118.
9. [9] 陈敬宇，徐金，罗容，等.基于手势识别的3D人机交互系统 [J].现代信息科技，2023，7（22）：88-91.
10. [10] 王枫.无传感器无刷直流电机控制系统研究与设计 [D].苏州：苏州大学，2020.
11. [11] LIU Z C，LI Y D，ZHENG Z D. A Review of Drive Techniques for Multiphase Machines [J].CES Transactions on Electrical Machines and Systems，2018，2（2）： 243-251.
12. [12] 王楚.仿人机械臂的运动规划与优化算法研究 [D].杭州：浙江大学，2018.
13. [13] 袁蒙恩.基于单目视觉估计的机械臂运动规划算法 [D].开封：河南大学，2020.
14. [14] 黄水华.多约束下的机械臂运动控制算法研究 [D].杭州：浙江大学，2016.
15. [15] 朱宇辉.基于Kinect的机械臂人机交互控制系统设计 [D].绵阳：西南科技大学，2016.
16. [16] 张峻宁，苏群星，刘鹏远，等.一种基于透视投影的单目3D目标检测网络 [J].机器人，2020，42（3）：278-288.
17. [17] 符惠桐.基于深度学习的目标识别轻量化模型研究 [D].西安：西安工业大学，2022.
18. [18] 袁哲明，袁鸿杰，言雨璇，等.基于深度学习的轻量化田间昆虫识别及分类模型 [J].吉林大学学报：工学版，2021，51（3）：1131-1139.
19. [19] XIONG B，SUN Z Z，WANG J，et al. A Lightweight Model for Ship Detection and Recognition in Complex-Scene SAR Images [J]. Remote Sensing，2022，14（23）：6053.
20. [20] LIU Z Q，DING D. TensorRT Acceleration Based on Deep Learning OFDM Channel Compensation [J/OL].Journal of Physics: Conference Series，2022，2303（1）：012047[2025-02-14].https://iopscience.iop.org/article/10.1088/1742-6596/2303/1/012047.
21. [21] YEGULALP S. Nvidia's New TensorRT Speeds Machine Learning Predictions [EB/OL].[2025-02-14].https://www.infoworld.com/article/2253746/nvidias-new-tensorrt-speeds-machine-learning-predictions.html.

基金项目

广东普通高校人工智能重点领域（2019KZDZX1017）；广东省科技创新战略专项资金（攀登计划专项资金）（pdjh2024a375）；江门市基础与理论科学研究类科技计划项目（江科〔2021〕87号（2021030101900004391））；五邑大学创新创业基金（2023CY07）

作者简介

赵健文（2004—），男，汉族，广东江门人，硕士研究生在读，研究方向：深度学习理论与应用、计算机视觉；曾军英（1977—），男，汉族，江西赣州人，教授，博士，研究方向：图像处理、深度学习理论与应用、信息处理、机器视觉；通信作者：秦传波（1982—），男，汉族，安徽宿州人，副教授，博士，研究方向：医学影像处理、生物特征识别。