文章详情

题名 · 作者 · 摘要 · 关键词 · DOI · 参考文献

基于交叉注意力的服装图像条件检索

田力仁，张潇云

（湖南工业大学 计算机学院，湖南 株洲 412007）

栏目：人工智能 · 第 2025 年第 6 期 · 页码：83-88 · 2096-4706（2025）06-0083-06 · 中图分类号：TP391.4 · 文献标识码：A · DOI：10.19850/j.cnki.2096-4706.2025.06.016

摘要

服装图像条件检索是指使用文本作为反馈来指导修改服装图像内容，并以此作为检索条件，达到检索目的。服装图像条件检索任务的关键在于如何有效地将服装图像和文本的语义空间结合到一起。为此，文章提出了一种使用多模态预训练模型的混合特征交叉注意力服装图像检索方法。首先，对多模态预训练模型进行微调，使其适合下游任务；其次，利用交叉注意力机制获取融合特征；最后，在FashionIQ数据集上进行了实验。结果表明该方法的检索召回率更高，检索结果更精确。

关键词

服装图像；条件检索；交叉注意力；多模态融合

参考文献

  1. [1] CHEN N，YANG D，LI MENGLU. Survey on Clothing Image Retrieval with Cross-domain [J]. Complex & Intelligent Systems，2022，8（6）：5531-5544.
  2. [2] WU H，GAO Y P，GUO X X，et al. Fashion IQ:A New Dataset Towards Retrieving Images by Natural Language Feedback [C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Nashville：IEEE，2021：11302-11312.
  3. [3] 张舜尧，李华旺，张永合，等.基于独立注意力机制的图像检索算法 [J].计算机科学，2023，50（S1）：328-333.
  4. [4] DALAL N，TRIGGS B. Histograms of Oriented Gradients for Human Detection [C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05).San Diego：IEEE，2005，886-893.
  5. [5] LIU Z W，LUO P，QIU S，et al. DeepFashion:Powering Robust Clothes Recognition and Retrieval with Rich Annotations [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas：IEEE，2016，1096-1104.
  6. [6] 缪岚芯，雷雨，曾鹏鹏，等.基于粒度感知和语义聚合的图像-文本检索网络 [J].计算机科学，2022（11）：134-140.
  7. [7] VO N，JIANG L，SUN C，et al. Composing Text and Image for Image Retrieval-an Empirical Odyssey [C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Beach：IEEE，2019：6432-6441.
  8. [8] CHEN Y B，BAZZANI L. Learning Joint Visual Semantic Matching Embeddings for Language-guided Retrieval [C]//Computer Vision–ECCV 2020:16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XXII 16.Cham：Springer，2020：136-152.
  9. [9] CHEN Y B，GONG S G，BAZZANI L. Image Search with Text Feedback by Visiolinguistic Attention Learning [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle：IEEE，2020：2998-3008.
  10. [10] LEE S，KIM D，HAN B. Cosmo:Content-style Modulation for Image Retrieval with Text Feedback [C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Nashville：IEEE，2021：802-812.
  11. [11] DODDS E，CULPEPPER J，HERDADE S，et al. Modality-agnostic Attention Fusion for Visual Search with Text Feedback [J/OL].arXiv:2007.00145 [cs.CV].（2020-6-30）.https://arxiv.org/abs/2007.00145.
  12. [12] YANG Y C，WANG M，ZHOU W G，et al. Cross-modal Joint Prediction and Alignment for Composed Query Image Retrieval [C]//MM'21:Proceedings of the 29th ACM International Conference on Multimedia. Chengdu：ACM，2021：3303-3311.
  13. [13] GU C B，BU J J，ZHANG Z，et al. Image Search with Text Feedback by Deep Hierarchical Attention Mutual Information Maximization [C]//MM'21:Proceedings of the 29th ACM International Conference on Multimedia. Chengdu：ACM，2021：4600-4609.
  14. [14] BALDRATI A，BERTINI M，URICCHIO T，et al. Conditioned and Composed Image Retrieval Combining and Partially Fine-tuning CLIP-based Features [C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). New Orleans：IEEE，2022：4955-4964.
  15. [15] ZHAO Y D，SONG Y Q，JIN Q，Progressive Learning for Image Retrieval with Hybrid-Modality Queries [C]//SIGIR'22:Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. Madrid：ACM，2022：1012-1021.
  16. [16] RADFORD A，KIM J W，HALLACY C，et al. Learning Transferable Visual Models From Natural Language Supervision [J/OL].arXiv:2103.00020 [cs.CV].（2021-2-26）.https://arxiv.org/abs/2103.00020.
  17. [17] OORD A V D，LI Y Z，VINYALS O. Representation Learning with Contrastive Predictive Coding [J/OL].arXiv:1807.03748 [cs.LG].（2018-7-10）.https://arxiv.org/abs/1807.03748.
  18. [18] GOODFELLOW I，POUGET-ABADIE J，MIRZA M，et al. Generative Adversarial Networks [J].Communications of the ACM，2020，63（11）：139-144.

作者简介

田力仁（1998—），男，汉族，重庆垫江人，研究生在读，研究方向：计算机视觉。