文章详情

摘要

为解决电力智能巡检中小样本场景下图像识别精度与泛化性不足的难题，文章提出了一种融合多模态大模型（MLLMs）与YOLOv8算法的协同识别方法。在训练阶段，利用真实图片联合提示词引导多模态大模型生成多角度、多状态的增广样本，用以训练YOLOv8模型，从而增强其泛化能力与识别准确性。在推理阶段，设计了一种基于YOLOv8多级置信度的划分方法，并依据设定阈值动态决定是否引入大模型进行联合推理。最后，基于变电站巡检数据的实验结果表明，该方法有效提高了小样本条件下的识别性能，验证了其可行性与有效性。

关键词

多模态大模型；YOLOv8；智能巡检；大小模型协同；F1分数

参考文献

1. [1] 国家能源局.风电场智能巡检技术导则：NB/T10596-2021 [S].2021.
2. [2] 林园敏，王鑫，黄金钊，等.基于人工神经网络的智能配网实时故障图像识别系统 [J].电网与清洁能源，2024，40（6）：130-136.
3. [3] Redmon J，Divvala S，Girshick R，et al. You Only Look Once: Unified, Real-Time Object Detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016：779-788.
4. [4] 陈富荣，肖明明.基于YOLOv5的改进小目标检测算法研究 [J].现代信息科技，2023，7（3）：55-60，65.
5. [5] 陈龙，张建林，彭昊，等.多尺度注意力与领域自适应的小样本图像识别 [J].光电工程，2023，50（4）：66-80.
6. [6] 王洪江，刘金圣，赵宏，等.基于改进YOLOv8模型的树线接地故障识别 [J].辽宁工程技术大学学报（自然科学版），2025，44（1）：113-119.
7. [7] 夏清.基于YOLOv8的无人机目标检测跟踪研究与实现 [D].扬州：扬州大学，2025.
8. [8] 李刚，方鸿，刘云鹏，等.新型电力系统中的大模型驱动技术：现状、机遇与挑战 [J].高电压技术，2024，50（7）：2864-2878.
9. [9] 潘如江，陈炯毅，王剑波，等.基于大语言模型的系统架构视图智能建模方法 [J].系统工程与电子技术，2025，47（12）：3912-3923.
10. [10] 田洪坤，姜囡，任涛.基于跨模态交互融合与全局特征校准的无人机电线检测 [J].控制与决策，2026，41（3）：639-650.

作者简介

陈蓓（1982—），女，汉族，江苏南京人，副教授，硕士，研究方向：智能建模、机器学习。