文章详情

题名 · 作者 · 摘要 · 关键词 · DOI · 参考文献

一种非凸随机优化框架下的度量学习算法研究

徐忠城1，2，胡恩良1，2

（1.云南师范大学 数学学院，云南 昆明 650500；2.云南省现代分析数学及其应用重点实验室，云南 昆明 650500）

栏目：计算机技术 · 第 2025 年第 5 期 · 页码：99-104 · 2096-4706（2025）05-0099-06 · 中图分类号：TP181 · 文献标识码：A · DOI：10.19850/j.cnki.2096-4706.2025.05.018

摘要

文章针对度量学习原凸问题的非凸重新表述，提出了一种带方差缩减策略的非凸随机优化算法（ML_NSVR），用于更高效地求解非凸度量学习问题。在适当的初始选择下，该算法在有限制的强凸条件下能够收敛，其收敛性得到了理论证明。数值实验验证了算法的有效性，为解决非凸度量学习问题提供了一种新的思路。同时，文章将所提算法与传统的随机梯度下降算法（SGD）和随机方差缩减梯度算法（SVRG）进行了优化效果对比。实验结果表明，ML_NSVR算法的效率更高。

关键词

随机优化；度量学习；方差缩减；非凸优化

参考文献

  1. [1] COLLET P，RENNARD J P. Stochastic Optimization Algorithms [M]//Intelligent information technologies：Concepts，methodologies，tools，and applications，2008：1121-1137.
  2. [2] LI B，JIANG W S. A Novel Stochastic Optimization Algorithm [J].IEEE Transactions on Systems，Man，and Cybernetics，Part B （Cybernetics），2000，30（1）：193-198.
  3. [3] FEYZMAHDAVIAN H R，AYTEKIN A，JOHANSSON M. An Asynchronous Mini-Batch Algorithm for Regularized Stochastic Optimization [J].IEEE Transactions on Automatic Control，2016，61（12）：3740-3754.
  4. [4] ZENG J S，MA K，YAO Y. Finding Global Optima in Nonconvex Stochastic Semidefinite Optimization with Variance Reduction [J/OL].arXiv:1802.06232 [math.OC].[2024-09-28].https://arxiv.org/abs/1802.06232.
  5. [5] KAYA M，BILGE H Ş. Deep Metric Learning: A Survey [J/OL].Symmetry，2019，11（9）：1066[2024-09-28].https://doi.org/10.3390/sym11091066.
  6. [6] YANG L，JIN R. Distance Metric Learning: A Comprehensive Survey [J/OL].Michigan State Universiy，2006，2（2）：4[2024-09-28].https://www.cs.cmu.edu/afs/cs.cmu.edu/Web/People/liuy/frame_survey_v2.
  7. [7] KULIS B. Metric Learning: A Survey [J].Foundations and Trends in Machine Learning，2012，5（4）：287-364.
  8. [8] WANG R，WU X J，CHEN Z H，et al. SPD Manifold Deep Metric Learning for Image Set Classification [J].IEEE Transactions on Neural Networks and Learning Systems，2024，35（7）：8924-8938.
  9. [9] ZHANG Q，ZHOU Y，PRATER-BENNETTE A，et al. Large-Scale Non-convex Stochastic Constrained Distributionally Robust Optimization [J/OL].arXiv:2404.01200 [stat.ML].[2024-09-28].https://arxiv.org/abs/2404.01200?context=stat.ML.
  10. [10] LI H C，QIAN J，TIAN Y，et al. Convex and Non-Convex Optimization under Generalized Smoothness [J/OL].arXiv:2306.01264 [math.OC].[2024-09-28].https://arxiv.org/abs/2306.01264.
  11. [11] XIE C H，LI C X，ZHANG C W，et al. Trust Region Methods for Nonconvex Stochastic Optimization Beyond Lipschitz Smoothness [J/OL].arXiv:2310.17319 [math.OC].[2024-09-28].https://arxiv.org/abs/2310.17319.
  12. [12] HU E L，KWOK J T. Low-Rank Matrix Learning Using Biconvex Surrogate inimization [J].IEEE Transactions on Neural Networks and Learning Systems，2019，30（11）：3517-3527.
  13. [13] NESTEROV Y. Smooth Minimization of Non-Smooth Functions [J].Mathematical programming，2005，103（1）：127-152.
  14. [14] ERDOGDU M A，OZDAGLAR A，PARRILO P A，et al. Convergence Rate of Block-Coordinate Maximization Burer–Monteiro Method for Solving Large SDPs [J/OL].arXiv:1807.04428[math.OC].[2024-09-28].https://arxiv.org/abs/1807.04428?context=cs.LG.

基金项目

云南省现代分析数学及其应用重点实验室（202302AN360007）；国家自然科学项目（62266055）

作者简介

徐忠城（1999—），男，汉族，云南曲靖人，硕士研究生，研究方向：机器学习。