文章详情

题名 · 作者 · 摘要 · 关键词 · DOI · 参考文献

基于约束型TD3的动态探索噪声改进算法

陈春甫1，穆煜2，韩凯涛1

（1.太原师范学院 计算机科学与技术学院，山西 晋中 030619；2.太原工业学院，山西 太原 030008）

栏目：计算机技术 · 第 2025 年第 7 期 · 页码：103-108 · 2096-4706（2025）07-0103-06 · 中图分类号：TP181；TP301.6；TP242 · 文献标识码：A · DOI：10.19850/j.cnki.2096-4706.2025.07.019

摘要

本研究针对无约束探索可能致使移动小车受损的问题，提出一种融合自适应噪声探索与拉格朗日乘子约束的强化学习方法，旨在优化小车到达目标点的轨迹规划。此方法通过动态调节噪声来提升探索效率，运用TD3算法应对连续动作空间，借助拉格朗日乘子法处理约束条件，这与直接在马尔科夫决策过程（MDP）中添加非期望行为惩罚的方式有所不同。仿真实验表明，该方法能够有效地引导小车避开障碍物，减少违反约束的情形，同时保障任务的安全性与可靠性，呈现出良好的训练收敛特性。

关键词

安全强化学习；约束马尔科夫决策过程；轨迹规划；TD3算法

参考文献

  1. [1] 计时鸣，黄希欢.工业机器人技术的发展与应用综述 [J].机电工程，2015，32（1）：1-13.
  2. [2] 王雪松，王荣荣，程玉虎.安全强化学习综述 [J].自动化学报，2023，49（9）：1813-1835.
  3. [3] MORALES E F，ZARAGOZA J H. An Introduction to Reinforcement Learning [M]//SUCAR L E，MORALES E F，HOEY J. Decision Theory Models for Applications in Artificial Intelligence：Concepts and Solutions [S.I.]：IGI Global，2012：63-80.
  4. [4] ACHIAM J，HELD D，TAMAR A，et al. Constrained Policy Optimization [C]//Proceedings of the 34th International Conference on Machine Learning.Sydney：PMLR，2017，70：22-31.
  5. [5] SUI Y，GOTOVOS A，BURDICK J，et al. Safe Exploration for Optimization with Gaussian Processes [C]//International Conference on Machine Learning.Lille：PMLR，2015：997-1005.
  6. [6] LILLICRAP T P，HUNT J J，PRITZEL A，et al. Continuous Control with Deep Reinforcement Learning [J/OL].[2024-10-03].arXiv:1509.02971 [cs.LG].https://doi.org/10.48550/arXiv.1509.02971.
  7. [7] STOOKE A，ACHIAM J，ABBEEL P. Responsive Safety in Reinforcement Learning by PID Lagrangian Methods [J/OL].arXiv:2007.03964 [math.OC].[2024-10-06].https://doi.org/10.48550/arXiv.2007.03964.
  8. [8] IBARZ J，TAN J，FINN C，et al. How to Train your Robot with Deep Reinforcement Learning: Lessons we have Learned [J].The International Journal of Robotics Research，2021，40（4-5）：698-721.
  9. [9] MARCHESINI E，CORSI D，FARINELLI A. Benchmarking Safe Deep Reinforcement Learning in Aquatic Navigation [C]//2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).Prague：IEEE，2021：5590-5595.
  10. [10] 李潇宇，张君华，郭晓光，等.基于强化学习的机器人底盘能量管理与路径规划优化算法 [J].农业工程学报，2024，40（21）：175-183.
  11. [11] 聂振邦，于海斌.基于参考轨迹的移动机器人避碰决策及轨迹跟踪方法 [J].计算机集成制造系统，2023，29（9）：2879-2889.
  12. [12] ISCEN A，YU G，ESCONTRELA A，et al. Learning Agile Locomotion Skills with a Mentor [C]//2021 IEEE International Conference on Robotics and Automation (ICRA).Xi'an：IEEE，2021：2019-2025.
  13. [13] DALAL G，DVIJOTHAM K，VECERIK M，et al. Safe Exploration in Continuous Action Spaces [J/OL].arXiv:1801.08757 [cs.AI].[2024-10-10].https://doi.org/10.48550/arXiv.1801.08757.
  14. [14] RAMEZANI M，HABIBI H，SANCHEZ-LOPEZ J L，et al. UAV Path Planning Employing MPC-Reinforcement Learning Method Considering Collision Avoidance [C]//2023 International Conference on Unmanned Aircraft Systems (ICUAS).Warsaw：IEEE，2023：507-514.
  15. [15] JI J，ZHOU J，ZHANG B，et al. Omnisafe: An Infrastructure for Accelerating Safe Reinforcement Learning Research [J].Journal of Machine Learning Research，2024，25（285）：1-6.
  16. [16] ZHAO W Y，HE T N，CHEN R，et al. State-wise Safe Reinforcement Learning: A Survey [J/OL].arXiv:2302.03122 [cs.LG].[2024-0-16].https://doi.org/10.48550/arXiv.2302.03122.
  17. [17] FUJIMOTO S，HOOF H，MEGER D. Addressing Function Approximation Error in Actor-Critic Methods [J/OL].arXiv:1802.09477 [cs.AI].[2024-10-11].https://doi.org/10.48550/arXiv.1802.09477.

作者简介

陈春甫(1999—)，男，汉族，山西晋中人，硕士研究生在读，研究方向：强化学习、机器人系统；通信作者：穆煜(1978—)，男，汉族，山西太原人，讲师，博士，研究方向：机器人运动控制与规划；韩凯涛(1999—)，男，汉族，山西吕梁人，硕士研究生在读，研究方向：光电信息处理与通信技术。