文章详情

题名 · 作者 · 摘要 · 关键词 · DOI · 参考文献

基于强化学习的大数据分析服务自动扩展方法

李进峰，索强，任舟

（上海望繁信科技有限公司，上海 201210）

栏目：人工智能 · 第 2025 年第 9 期 · 页码：32-36,42 · 2096-4706（2025）09-0032-06 · 中图分类号：TP18 · 文献标识码：A · DOI：10.19850/j.cnki.2096-4706.2025.09.006

摘要

随着大数据分析服务的需求不断增长，AaaS（分析即服务）提供商通常依赖租赁IaaS（基础设施即服务）的虚拟机资源来构建其服务平台。然而，用户需求的动态变化使得如何灵活调整虚拟机的类型和数量成为亟须解决的关键问题。文章提出了一种基于Q-Learning的自动扩展方法，通过将虚拟机实例数量作为学习的行动空间，采用ε-贪心策略选择行动，并动态更新状态和Q表值。通过这一过程的反复迭代，该方法能够在最小化AaaS提供商成本的同时，最大化虚拟机资源的利用率。实验结果表明，该方法不仅能够有效降低运营成本，还能确保虚拟机CPU在长时间内保持高利用率。

关键词

大数据分析；强化学习；人工智能

参考文献

  1. [1] 文聪敏，刘乃新.基于大数据平台的需求自动同步更新管理系统设计与研究 [J].现代信息科技，2023，7（14）：7-11.
  2. [2] 张圣伦，张楠.云计算在网络通信数据智能运维系统中的应用 [J].现代信息科技，2022，6（6）：125-127+132.
  3. [3] LI X，ZHOU J S，WEI X，et al. Topology-Aware Scheduling Framework for Microservice Applications in Cloud [J].IEEE Transactions On Parallel And Distribution Systems，2023，34（5）：1635-1649.
  4. [4] JANNAPUREDDY R，VIEN Q T，SHAH P，et al. An Auto-Scaling Framework for Analyzing Big Data in the Cloud Environment [J].Applied Science，2019，9（7）：1417-1429.
  5. [5] SI W，PAN L，LIU S J. A Cost-Driven Online Auto-Scaling Algorithm for Web Applications in Cloud Environments [J].Knowledge-Based Systems，2022，244：1-13.
  6. [6] GARÍ Y，MONGE D，MATEOS C，et al. Learning Budget Assignment Policies for Autoscaling Scientific Workflows in The Cloud [J].Cluster Computing，2020，23（1）：87-105.
  7. [7] GEORGE F，AROKIA R. A Novel Approach on Auto-Scaling for Resource Scheduling Using AWS [C]//2nd International Virtual Conference on Industry.Chennai：Springer，2021：99-109.
  8. [8] HOROVITZ S，ARIAN Y. Efficient Cloud Auto-Scaling with SLA Objective Using Q-Learning [C]//2018 IEEE 6th International Conference on Future Internet of Things and Cloud.Barcelona：IEEE，2018：85-92.
  9. [9] WEI Y，KUDENKO D，LIU S J，et al. A Reinforcement Learning Based Auto-Scaling Approach for SaaS Providers in Dynamic Cloud Environment [J/OL].Mathematical Problems in Engineering，2019.[2024-10-18].https://onlinelibrary.wiley.com/doi/10.1155/2019/5080647.
  10. [10] DING Z J，WANG S，JIANG C J. Kubernetes-Oriented Microservice Placement With Dynamic Resource Allocation [J].IEEE Transactions on Cloud Computing，2023，11（2）：1777-1793.

作者简介

李进峰（1983—），男，汉族，上海人，博士，研究方向：计算机科学与技术。