文章详情

摘要

针对图文多模态情感分析中文本与图像语义对齐不足、模态贡献难以动态平衡等问题，提出一种融合门控自注意力、双向模态间共注意力和自适应门控融合的情感分析模型（Multimodal Gated Attention for Cross-modal Learning Network, MGACL-Net）。分别利用RoBERTa和ResNet101提取文本与图像特征，通过模态内门控自注意力抑制噪声，再由双向共注意力建模图文交互，最后采用门控融合完成情感分类。在MVSA-Single和MVSA-Multiple数据集上进行对比实验与消融实验，结果表明模型在MVSA-Single上达到77.12%的准确率和76.92%的F1值。所提模型能够强化图文情感线索表达，提高跨模态融合的有效性与鲁棒性。

关键词

多模态情感分析；图文融合；跨模态注意力；自适应门控；情感分类

参考文献

1. [1] Gandhi A，Adhvaryu K，Poria S，et al. MMultimodal Sentiment Analysis: A Systematic Review of History, Datasets, Multimodal Fusion Methods, Applications, Challenges and Future Directions [J].Information Fusion，2023，91：424-444.
2. [2] 张亚洲，戎璐，宋大为，等.多模态情感分析研究综述 [J].模式识别与人工智能，2020，33（5）：426-438.
3. [3] Zhao K，Zheng M S，Li Q G，et al. Multimodal Sentiment Analysis—A Comprehensive Survey From a Fusion Methods Perspective [J].IEEE Access，2025：64556-64583.
4. [4] 杨宇飞，钱育蓉，公维军，等.大模型优化的BERT图文多模态情感分析 [J].计算机系统应用，2025，34（8）：62-69.
5. [5] Hu H R. A Vision-Language Pre-training model based on Cross Attention for Multimodal Aspect-based Sentiment Analysis [C]//2024 5th International Conference on Computer Vision, Image and Deep Learning (CVIDL)，2024：370-375.
6. [6] Li S T，Tang H. Multimodal Alignment and Fusion: A Survey [J/OL].arXiv:2411.17040 [cs.CV].https://doi.org/10.48550/arXiv.2411.17040.
7. [7] Zhu Z Y，Jin Z B，Zhang J Y，et al. Narrowing Information Bottleneck Theory for Multimodal Image-Text Representations Interpretability [J/OL].arXiv:2502.14889 [cs.CV].https://doi.org/10.48550/arXiv.2502.14889.
8. [8] Huang Z C，Zeng Z Y，Liu B，et al. Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers [J/OL].arXiv:2004.00849 [cs.CV].https://doi.org/10.48550/arXiv.2004.00849.
9. [9] Radford A，Kim J W，Hallacy C，et al. Learning Transferable Visual Models From Natural Language Supervision [C]//Proceedings of the 38th International Conference on Machine Learning，2021：8748-8763.
10. [10] Liang X，Yang E，Deng C，et al. CrossFormer: Cross-Modal Representation Learning via Heterogeneous Graph Transformer [J].ACM Transactions on Multimedia Computing, Communications and Applications，2024，20（12）：1-21.
11. [11] Feng X Y，Lin Y M，He L H，et al. Knowledge-Guided Dynamic Modality Attention Fusion Framework for Multimodal Sentiment Analysis [J/OL].arXiv:2410.04491 [cs.CL].https://doi.org/10.48550/arXiv.2410.04491.
12. [12] LI H C，LU Y T，ZHU H D. Multi-Modal Sentiment Analysis Based on Image and Text Fusion Based on Cross-Attention Mechanism [J/OL].Electronics，2024，13（11）：2069.https://doi.org/10.3390/electronics13112069.
13. [13] 张昱，张海军，刘雅情，等.基于双向掩码注意力机制的多模态情感分析 [J].数据分析与知识发现，2023，7（4）：46-55.
14. [14] 吕学强，田驰，张乐，等.融合多特征和注意力机制的多模态情感分析模型 [J].数据分析与知识发现，2024，8（5）：91-101.

作者简介

宋玺文（2001—），女，汉族，陕西西安人，硕士研究生在读，研究方向：自然语言处理、情感分类。