带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法.
- Resource Type
- Article
- Authors
- 秦传东; 杨旭
- Source
- Application Research of Computers / Jisuanji Yingyong Yanjiu. Dec2023, Vol. 40 Issue 12, p3655-3665. 6p.
- Subject
- *ALGORITHMS
- Language
- Chinese
- ISSN
- 1001-3695
为了更好应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai–Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRGR2BB)。首先,在SVRG外循环中全梯度计算的基础上加入L1范数次梯度设计出一种稀疏近似梯度用于内循环,得到一种稀疏的SVRG算法(SSVRG)。在此基础上,提出在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长,解决了小批量算法的步长选取问题,拓展得到MSSVRG-R2BB算法。数值实验表明,在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时,MSSVRG-R2BB算法不仅可以在减小运算成本、更快达到收敛上界的同时达到其他先进的小批量算法相同的优化水平,并且对于不同的初始参数选取表现稳定且良好。 [ABSTRACT FROM AUTHOR]