文章详情

摘要

SAM是一种著名的通用图像分割模型。尽管SAM在自然图像上表现出色，但在处理对比度低、边界模糊的睑板腺医学图像时，其性能会明显下降，泛化能力有限。为此，文章提出了一种适合睑板腺图像分割的模型SAMG。该模型在SAM的图像编码器基础上，加入一个CNN分支，并通过一个交叉注意力模块将CNN分支与原图像编码器（ViT分支）联系起来。此外，在编码器的最后部分，通过一个SE模块使模型能够在更细粒度上理解图像内容。这种模型结构设计使得额外的参数量和计算量都相对较小。在专业的睑板腺医学图像数据集支持下，对比实验表明，SAMG模型在睑板腺图像分割任务上表现出色，且可部署于入门级别的GPU。

关键词

SAM；CNN；ViT；图像分割

参考文献

1. [1] CHAN T C Y，CHOW S S W，WAN K H N，et al. Update on the Association Between Dry Eye Disease and Meibomian Gland Dysfunction [J].Hong Kong Medical Journal，2019，25（1）：38-47.
2. [2] KIRILLOV A，MINTUN E，RAVI N，et al. Segment Anything [C]//2023 IEEE/CVF International Conference on Computer Vision (ICCV).Paris：IEEE，2023：4015-4026.
3. [3] ZHANG Y C，JIAO R S. Towards Segment Anything Model (SAM) for Medical Image Segmentation： A Survey [J/OL].arXiv:2305.03678 [eess.IV].[2024-09-10].https://doi.org/10.48550/arXiv.2305.03678.
4. [4] RONNEBERGER O，FISCHER P，BROX T. U-Net: Convolutional Networks for Biomedical Image Segmentation [C]//Medical Image Computing and Computer-Assisted Intervention(MICCAI 2015).Munich：Springer，2015：234-241.
5. [5] ZHOU Z W，SIDDIQUEE M M R，TAJBAKHSH N，et al. UNet++: A Nested U-Net Architecture for Medical Image Segmentation [C]//Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support.Granada：Springer，2018：3-11.
6. [6] ISENSEE F，PETERSEN J，KLEIN A，et al. Abstract: nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation [C]//Bildverarbeitung für die Medizin 2019.Lübeck：Springer，2019:1-22.
7. [7] CHEN J N，LU Y Y，YU Q H，et al. TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation [J/OL].arXiv:2102.04306 [cs.CV].[2024-09-15].https://doi.org/10.48550/arXiv.2102.04306.
8. [8] CAO H，WANG Y Y，CHEN J，et al. Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [J/OL].arXiv:2105.05537 [eess.IV].[2024-09-08].https://doi.org/10.48550/arXiv.2105.05537.
9. [9] MA J，HE Y T，LI F F，et al. Segment Anything in Medical Images [J].Nature Communications，2024，15（1）：654[2024-09-20].https://doi.org/10.1038/s41467-024-44824-z.
10. [10] ZHANG K D，LIU D. Customized Segment Anything Model for Medical Image Segmentation [J/OL].arXiv:2304.13785 [cs.CV].https://doi.org/10.48550/arXiv.2304.13785.
11. [11] WU J D，JI W，LIU Y P，et al. Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation [J/OL].arXiv:2304.12620 [cs.CV].[2024-09-13].https://doi.org/10.48550/arXiv.2304.12620.
12. [12] YU B X，CHANG J L，WANG H X，et al. Visual Tuning [J/OL].arXiv:2305.06061 [cs.CV].[2024-08-30].https://doi.org/10.48550/arXiv.2305.06061.
13. [13] 薛连剑.睑板腺近红外图像处理算法的研究 [D].上海：上海交通大学，2016.
14. [14] LIN X，XIANG Y Y，ZHANG L，et al. SAMUS: Adapting Segment Anything Model for Clinically-Friendly and Generalizable Ultrasound Image Segmentation [J/OL]. arXiv:2309.06824 [cs.CV].[2024-08-25].https://doi.org/10.48550/arXiv.2309.06824.
15. [15] HU J，SHEN L，SUN G. Squeeze-and-Excitation Networks [J] IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，24（8）：2011-2023.

基金项目

2024年度河南省高等教育教学改革研究与实践项目（2024SJGLX0332）；2023年河南省高等教育教学改革研究与实践项目 研究生教育类（2023SJGLX112Y）

作者简介

张宸睿（2000—），男，汉族，河南漯河人，硕士研究生在读，研究方向：基于深度学习模型的医学图像分割研究；通信作者：李秀丽（1967—），女，汉族，河南郑州人，教授，本科，研究方向：计算机技术及应用。