文章详情

摘要

在干眼诊断与评估中，眼表荧光素染色图像具有重要临床价值，但人工评估费时费力，不同医生间的评分也影响一致性。为提升诊断效率与准确性，文章提出了基于深度学习的自动化模型OFGD-Net（Ocular Fluorescence Grading and Description Network），用于眼表荧光素染色图像的分级与描述。OFGD-Net包括图像编码器、两个解码器及注意力机制，编码器负责特征提取，解码器分别生成图像描述及病变严重程度评分，注意力机制则增强了对关键区域的关注。与现有先进模型的对比分析表明OFGD-Net在主要评估指标上表现优越，在生成文本准确性和相似性方面有明显优势。

关键词

深度学习；多模态；干眼；眼表荧光素染色

参考文献

1. [1] ERIN C O，MATTHEW H，MINA M-G，et al. Advances in Dry Eye Disease Treatment [J].Current Opinion in Ophthalmology，2019，30（3）：166-178.
2. [2] PELLEGRINI M，BERNABEI F，MOSCARDELLI F，et al. Assessment of Corneal Fluorescein Staining in Different Dry Eye Subtypes Using Digital Image Analysis [J].Translational Vision Science & Technology，2019，8（6）：34.
3. [3] CHAN H-P，HADJIISKI L M，SAMALA R K. Computer-aided Diagnosis in the Era of Deep Learning [J].Medical Physics，2020，47（5）：e218-e227.
4. [4] HÈDE P，MOËLLIC P-A，BOURGEOYS J，et al. Automatic Generation of Natural Language Description for Images [C]//RIAO'04.Paris：ACM，2004：306-313.
5. [5] ZHOU J W，WANG X，HAN J Z，et al. Spatial-temporal Attention for Image Captioning [C]//2018 IEEE Fourth International Conference on Multimedia Big Data （BigMM）.Xi'an：IEEE，2018：1-5.
6. [6] YANG X，TANG K H，ZHANG H W，et al. Auto-encoding Scene Graphs for Image Captioning [C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Long Beach：IEEE，2019：10685-10694.
7. [7] FANG H，GUPTA S，IANDOLA F，et al. From Captions to Visual Concepts and Back [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Boston：IEEE，2015：1473-1482.
8. [8] LU J S，XIONG C M，PARIKH D，et al. Knowing When to Look: Adaptive Attention via a Visual Sentinel for Image Captioning [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Honolulu：IEEE，2017：3242-3250.
9. [9] SHIN H-C，ROBERTS K，LU L，et al. Learning to Read Chest X-Rays: Recurrent Neural Cascade Model for Automated Image Annotation [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas：IEEE，2016：2497-2506.
10. [10] WANG X S，PENG Y F，LU L，et al. TieNet: Text-image Embedding Network for Common Thorax Disease Classification and Reporting in Chest X-Rays [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：9049-9058.
11. [11] LIU G X，HSU T-M H，MCDERMOTT M，et al. Clinically Accurate Chest X-Ray Report Generation [J/OL].arXiv:1904.02633 [cs.CV].（2019-04-04）.https://arxiv.org/abs/1904.02633v1.
12. [12] JING B Y，XIE P T，XING E. On the Automatic Generation of Medical Imaging Reports [J/OL].arXiv:1711.08195 [cs.CL].（2017-11-22）.https://arxiv.org/abs/1711.08195.
13. [13] XUE Y，XU T，LONG L R，et al. Multimodal Recurrent Model with Attention for Automated Radiology Report Generation [C]//Medical Image Computing and Computer Assisted Intervention-MICCAI 2018：21st International Conference.Granada：Springer Nature，2018：457-466.
14. [14] ZHANG Y X，WANG X S，XU Z Y，et al. When Radiology Report Generation Meets Knowledge Graph [J].Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（7）：12910-12917.
15. [15] AMPARO F，WANG H B，YIN J，et al. Evaluating Corneal Fluorescein Staining Using a Novel Automated Method [J].Investigative Ophthalmology & Visual Science，2017，58（6）：BIO168-BIO173.

基金项目

2023年河南省高等教育教学改革研究与实践项目(研究生教育类)(2023SJGLX112Y)；2024年度河南省高等教育教学改革研究与实践项目(2024SJGLX0332)

作者简介

张婉玉（1999.08—），女，汉族，河南南阳人，硕士在读，研究方向：人工智能；通信作者：李秀丽（1967.12—），女，汉族，河南郑州人，教授，本科，研究方向：计算机技术及应用。