文章详情

摘要

为提升图像文本匹配任务的准确率，提出了一种基于Chinese-CLIP模型和Prompt提示机制的图文检索方法。一方面，对文本数据进行预处理，去除停用词和标点符号后，利用BERT模型提取文本特征；另一方面，使用卷积神经网络提取图像特征，并将得到的文本与图像特征进行序列化，以实现多模态特征融合。模型训练时，先使用Chinese-CLIP大模型进行初步训练，再引入Prompt提示机制对模型进行微调。实验结果表明，所提方法在文搜图和图搜文两个任务上均有效地提升了准确率与召回率。

关键词

图文检索；多模态特征融合；Chinese-CLIP模型；Prompt提示机制

参考文献

1. [1] 刘颖，郭莹莹，房杰，等.深度学习跨模态图文检索研究综述 [J].计算机科学与探索，2022，16（3）：489-511.
2. [2] 张虎成，李雷孝，刘东江.多模态数据融合研究综述 [J].计算机科学与探索，2024，18（10）：2501-2520.
3. [3] 赵什陆，张强.深度学习多模态图像语义分割前沿进展 [J].中国图象图形学报，2023，28（11）：3320-3341.
4. [4] 曾明睿，袁梦奇，邵曦，等.文本特征提取的研究进展 [J].南京信息工程大学学报：自然科学版，2019，11（6）：706-715.
5. [5] 李伟伟，王丽妍，傅博，等.基于多模态融合的深度神经网络图像复原方法 [J].吉林大学学报：理学版，2024，62（2）：391-398.
6. [6] 周录庆，贾可，冯翱，等.融合自注意力机制改进ResNet的图像分类方法 [J].软件导刊，2024，23（10）：173-178.
7. [7] 曹轩，许青林.融合注意力与比较增强学习机制的情感分析 [J].软件导刊，2022，21（1）：124-130.
8. [8] 邹子安，何儒汉.基于代价敏感的细粒度服装图片检索 [J].软件导刊，2023，22（10）：185-190.
9. [9] 陈晓江，杨晓奇，陈广豪，等.混合BERT和宽度学习的低时间复杂度短文本分类 [J].山东大学学报：工学，2024，54（4）：51-58+66.
10. [10] 李洋，吴晓群.面向RGB-D图像的多层特征提取算法综述 [J].中国图象图形学报，2024，29（5）：1346-1363.

基金项目

广西自然科学基金项目（2019GXNSFBA245056）；大学生创新创业训练计划项目（202410596733，202410596731）

作者简介

陈道彬（2003—），男，汉族，福建福州人，本科在读，研究方向：计算机视觉；张子诺（2004—），女，汉族，河北石家庄人，本科在读，研究方向：分数阶微分方程；付裕彬（2003—），男，壮族，广西河池人，本科在读，研究方向：为计算机视觉；黎晋铭（2003—），男，瑶族，广西贺州人，本科在读，研究方向：计算机视觉；通信作者：林彬（1985—），男，汉族，辽宁大连人，副教授，博士，研究方向：模式识别和机器学习。