文章详情

题名 · 作者 · 摘要 · 关键词 · DOI · 参考文献

基于细粒度语义引导的多模态检索方法

郑筱智，孙卓

（济南市口腔医院，山东 济南 250001）

栏目：人工智能 · 第 2026 年第 12 期 · 页码：66-70 · 2096-4706（2026）12-0066-05 · 中图分类号：TP391.3 · 文献标识码：A · DOI：10.19850/j.cnki.2096-4706.2026.12.013

摘要

现有基于类别标签的监督方法因监督信号粒度较粗，难以刻画同一类别下样本间的细微差异，限制了其在精细化检索任务中的应用效果。为此，文章提出一种细粒度语义引导的多模态哈希方法（Fine-grained Semantic-guided Multi-modal Hashing, FSMH）。该方法通过自动挖掘多模态数据的内容语义结构，构建细粒度的语义监督信号，从而引导哈希码的学习过程，使生成的哈希码既能保留模态间的细微语义差异，又能刻画其深层关联关系，实现语义层面的深度跨模态融合与精准检索。在两个常用多模态数据集上的实验表明，FSMH在不同哈希码长度下均显著优于当前先进的无监督及有监督哈希方法，验证了其有效性。

关键词

细粒度语义；多模态哈希；语义监督；跨模态检索

参考文献

  1. [1] Alexandr A，Piotr I. Near-optimal Hashing Algorithms for Approximate Nearest Neighbor in High Dimensions [J].Communications of the ACM，2008，51（1）：117-122.
  2. [2] Liu X L，He J F，Lang B. Multiple Feature Kernel Hashing for Large-scale Visual Search [J].Pattern Recognition，2014，47（2）：748-757.
  3. [3] Yang R，Shi Y L，Xu X S. Discrete Multi-view Hashing for Effective Image Retrieval [C]//Proceedings of the 2017 ACM on International Conference on Multimedia Retrieval (ICMR)， Association for Computing Machinery，2017：175-183.
  4. [4] Lu X，Zhu L，Li J J，et al. Efficient Supervised Discrete Multi-view Hashing for Large-scale Multimedia Search [J].IEEE Transactions on Multimedia，2019：2048-2060.
  5. [5] Lu X，Zhu L，Cheng Z Y，et al. Flexible Online Multi-modal Hashing for Large-scale Multimedia Retrieval [C]//MM'19: Proceedings of the 27th ACM International Conference on Multimedia，2019：1129-1137.
  6. [6] Liu L Y，Zhang Z，Huang Z. Flexible Discrete Multi-view Hashing with Collective Latent Feature Learning [J].Neural Processing Letters，2020，52：1765-1791.
  7. [7] Lu X，Zhu L，Cheng Z Y，et al. Online Multi-modal Hashing with Dynamic Query-adaption [C]//Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval，2019：715-724.
  8. [8] Zhu L，Lu X，Cheng Z Y，et al. Deep Collaborative Multi-view Hashing for Large-scale Image Search [J].IEEE Transactions on Image Processing: a publication of the IEEE Signal Processing Society，2020，29：4643-4655.
  9. [9] Zheng C Q，Zhu L，Lu X，et al. Fast Discrete Collaborative Multi-modal Hashing for Large-scale Multimedia Retrieval [J].IEEE Transactions on Knowledge and Data Engineering，2019：2171-2184.
  10. [10] 尹奇跃，黄岩，张俊格，等.基于深度学习的跨模态检索综述 [J].中国图象图形学报，2021，26（6）：1368-1388.
  11. [11] 陈凤，蒙祖强.基于哈希算法的异构多模态数据检索研究 [J].计算机科学，2019，46（10）：49-54.

作者简介

郑筱智（1989—），男，汉族，山东威海人，工程师，硕士研究生，研究方向：医学信息检索、大语言模型；通信作者：孙卓（1981—），男，汉族，山东济南人，助理工程师，研究方向：医学信息检索、大语言模型。