文章详情

摘要

针对小样本图像分类中单一知识蒸馏策略容易导致知识传递偏差、制约学生模型性能的问题，提出一种基于原型网络的联合蒸馏方法。以ResNet18为教师模型，在CIFAR-FS数据集5-way 1-shot任务上取得67.53%的分类准确率；学生模型采用轻量级4层残差网络，基线准确率为54.13%。在此基础上，对比3种蒸馏策略的实验结果表明：硬标签蒸馏引入置信度过滤机制后，学生模型准确率升至56.89%；软标签蒸馏通过传递类别间相似性信息，进一步达到59.36%；联合蒸馏策略融合两类蒸馏优势并引入动态权重调节，准确率提升至62.20%，较基线提高8.07个百分点，师生性能差距由13.40%缩小至5.33%。综上，所提联合蒸馏策略能够更充分地挖掘教师模型的知识潜力，有效缓解知识传递偏差，在小样本学习场景中具备显著优势。

关键词

小样本学习；知识蒸馏；蒸馏策略对比；原型网络

参考文献

1. [1] 赵凯琳，靳小龙，王元卓.小样本学习研究综述 [J].软件学报，2021，32（2）：349-369.
2. [2] Hinton G，Vinyals O，Dean J. Distilling the Knowledge in a Neural Network [J/OL].arXiv:1503.02531 [stat.ML].https://doi.org/10.48550/arXiv.1503.02531.
3. [3] Snell J，Swersky K，Zemel R S. Prototypical Networks for Few-shot Learning [C]//NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems，2017：4080-4090.
4. [4] 石玲，何常乐，常宝方，等.一种基于知识蒸馏的边缘联邦学习算法 [J].郑州大学学报（理学版），2025，57（2）：44-50.
5. [5] Zhou H L，Song L C，Chen J J，et al. Rethinking Soft Labels for Knowledge Distillation: A Bias-Variance Tradeoff Perspective [J/OL].arXiv:2102.00650 [cs.LG].https://doi.org/10.48550/arXiv.2102.00650.
6. [6] Bertinetto L，Henriques J F，Torr P H S，et al. Meta-learning with Differentiable Closed-form Solvers [J/OL].arXiv:1805.08136 [cs.CV].https://doi.org/10.48550/arXiv.1805.08136.
7. [7] 王守相，赵宁，王同勋，等.基于轨迹颜色编码与知识蒸馏的电能质量扰动轻量化识别方法 [J].电力自动化设备，2024，44（12）：85-91.
8. [8] 汪航，田晟兆，唐青，等.基于多尺度标签传播的小样本图像分类 [J].计算机研究与发展，2022，59（7）：1486-1495.
9. [9] Loshchilov I，Hutter F. Decoupled Weight Decay Regularization [J/OL].arXiv:1711.05101 [cs.LG].https://doi.org/10.48550/arXiv.1711.05101.
10. [10] 唐振超，韦蔚，罗蔚然，等.融合余弦退火与空洞卷积的遥感影像语义分割 [J].遥感学报，2023，27（11）：2579-2592.

作者简介

王雁（1994—），女，汉族，山西孝义人，助教，硕士研究生，研究方向：计算机视觉、信号处理。