文章详情

摘要

针对公路路面病害检测方法中单一2D图像易受光照、视角干扰，3D点云数据虽能表征病害三维形貌但特征维度高、计算成本大的问题，提出基于DETR的多模态特征融合公路路面病害检测网络模型。首先，在DETR网络结构中融入多尺度特征提取模块和空间注意力模块，构建MSF-DETR检测网络模型；然后，在MSF-DETR基础上，融入MFFM多模态特征融合模块，并引入AWCM自适应权重计算模块用于2D与3D点云数据的特征图融合；最后，通过RSRD数据集进行消融实验，平均精度（mAP）达93.43%，基于DETR的多模态特征融合公路路面病害检测网络模型的mAP上均显著优于基于仅2D图像或仅3D点云的单一检测方法，有效实现了对2D图像与3D点云的多模态公路路面病害特征融合，提升了在复杂环境下对公路路面病害的检测精度。

关键词

公路路面病害检测；2D图像；3D点云；DETR；多模态特征融合

参考文献

1. [1] Gavilán M，Balcones D，Marcos O，et al. Adaptive Road Crack Detection System by Pavement Classification [J].Sensors，2011，11（10）：9628-9657.
2. [2] Shi Y，Cui L M，Qi Z Q，et al. Automatic Road Crack Detection Using Random Structured Forests [J].IEEE Transactions on Intelligent Transportation Systems，2016，17（12）：3434-3445.
3. [3] Hui L，Chen J，Jian L. Road Surface Disease Detection Algorithm Based on Improved YOLOv4 [J/OL].Laser & Optoelectronics Progress，2021，58：1410025.https://m.researching.cn/articles/OJfb397f682b560753/.
4. [4] Wu Y ，Liu Y. Research on Road Surface Defect Detection Method Based on Improved YOLOv8 [J].Automation Application，2025，66（8）：45-49.
5. [5] 潘宁，杜豫川，岳劲松，等.基于点云数据的道路变形类病害自动化检测方法 [J].同济大学学报（自然科学版），2022，50（3）：399-408.
6. [6] 余浩. 基于三维激光点云的路面裂缝自动识别技术研究 [D].武汉：湖北工业大学，2015.
7. [7] Zhong M Q，Sui L C，Wang Z H，et al. Pavement Crack Detection From Mobile Laser Scanning Point Clouds Using a Time Grid [J].Sensors，2020，20（15）：1-15.
8. [8] 江宛琪.基于激光点云的沥青路面裂缝智能识别研究 [D].南京：东南大学，2022.
9. [9] 廖金巧.基于激光雷达点云的路面破损检测方法 [D].北京：北方工业大学，2022.
10. [10] Qi C R，Su H，Mo K，et al. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017：652-660.
11. [11] Qi C R，Yi L，Su H，et al. PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017：5105-5114.
12. [12] Wulff F，Schaufele B，Sawade O，et al. Early Fusion of Camera and Lidar for Robust Road Detection Based on U-Net FCN [C]//2018 IEEE Intelligent Vehicles Symposium (IV)，2018：1426-1431.
13. [13] Elamin A，El-Rabbany A. UAV-Based Image and LiDAR Fusion for Pavement Crack Segmentation [J].Sensors，2023，23（23）：26.
14. [14] 金宇锋，陶重犇.基于Transformer的融合信息增强3D目标检测算法 [J].仪器仪表学报，2023，44（12）：297-306.
15. [15] Pang S，Morris D，Radha H. CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection [C]//IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)，2020：10386-10393.
16. [16] Carion N，Massa F，Synnaeve G，et al. End-to-End Object Detection With Transformers [C]//Computer Vision-ECCV 2020，2020：213-229.
17. [17] 陈静怡.基于图像与3D点云特征融合的轮胎表面瑕疵检测算法研究 [D].杭州：浙江大学，2023.
18. [18] Zhao T，Xu C F，Ding M Y，et al. RSRD: A Road Surface Reconstruction Dataset and Benchmark for Safe and Comfortable Autonomous Driving [J].IEEE Transactions on Intelligent Transportation Systems，2024，25（1）：1-15.

基金项目

上海市教育发展基金会和上海市教育委员会“晨光计划”项目资助（23CGB15）

作者简介

贾晨（1996—），女，汉族，河南新乡人，助教，硕士研究生，研究方向：图像处理、计算机视觉。