文章详情

摘要

NAND闪存受物理结构限制需采用垃圾回收策略，而该策略的执行会显著影响系统效率，其中冷热数据的精准分离是关键。同时，由于NAND闪存每个块可承受的擦除次数有限，改善磨损均衡对延长闪存寿命至关重要。现有算法难以在线学习数据访问模式，导致动态负载下冷热识别不准。为此，文章提出一种基于强化学习的垃圾回收算法，通过在线自适应学习实现冷热数据精准分类，并融合磨损均衡机制。实验表明，与当前表现最优的基线算法相比，本文算法将块擦除次数降低16.4%，有效页拷贝次数减少50.0%，磨损均衡度提升33.3%，显著提高了垃圾回收效率并延长了闪存寿命。

关键词

NAND闪存；垃圾回收；强化学习；磨损均衡

参考文献

1. [1] ABDULHADI A，CHUNG T S. Crash Recovery Techniques for Flash Storage Devices Leveraging Flash Translation Layer: A Review [J/OL].Electronics，2023，12（6）：1422（2023-03-16）[2025-07-11].https://doi.org/10.3390/electronics12061422.
2. [2] LEE D，JIN Y，JANG H，et al. CATDOG: Cost-age-time Data Organized Garbage Collection [C]//2022 IEEE International Conference on Networking, Architecture and Storage (NAS).Philadelphia：IEEE，2022：1-6.
3. [3] LUO L F，LI S C，LV Y N，et al. Performance and Reliability Optimization for High-density Flash-based Hybrid SSDs [J/OL].Journal of Systems Architecture，2023，136：102830[2025-07-11].https://doi.org/10.1016/j.sysarc.2023.102830.
4. [4] XU G X，LIU Y-B，ZHANG X Q，et al. Garbage Collection Policy to Improve Durability for Flash Memory [J].IEEE Transactions on Consumer Electronics，2012，58（4）：1232-1236.
5. [5] SADMAN S，ALEKSANDAR M，BISWAJIT R. Flash-DNA: Identifying NAND Flash Memory Origins Using Intrinsic Array Properties [J].IEEE Transactions on Electron Devices，2021，68（8）：3794-3800.
6. [6]LEE J，KIM J-S. An Empirical Study of Hot/cold Data Separation Policies in Solid State Drives (SSDs) [C]//SYSTOR'13: Proceedings of the 6th International Systems and Storage Conference.Haifa：ACM，2013：1-6.
7. [7] CHAE S-J，MATIVENGA R，PAIK J-Y，et al. DSFTL: An Efficient FTL for Flash Memory Based Storage Systems [J/OL].Electronics，2020，9（1）：145（2020-01-12）[2025-07-11].https://doi.org/10.3390/electronics9010145.
8. [8] XU L S Y. Flash Storage Technology Status and Development Research [J/OL].Journal of Physics: Conference Series，2023，2649（1）：012046（2023-06-24）[2025-07-11].https://iopscience.iop.org/article/10.1088/1742-6596/2649/1/
9. 012046.
10. [9] WU M，ZWAENEPOEL W. eNVy: A Non-volatile, Main Memory Storage System [J].ACM SIGPLAN Notices，1994，29（11）：86-97.
11. [10] KAWAGUCHI A，NISHIOKA S，MOTODA H. A Flash Memory Based File System [C]//TCON'95: Proceedings of the USENIX 1995 Technical Conference Proceedings.New Orleans：ACM，1995：155-164.
12. [11] CHIANG M L，CHANG R C. Cleaning Policies in Mobile Computers Using Flash Memory [J].Journal of Systems and Software，1999，48（3）：213-231.
13. [12] KWON O，KOH K，LEE J，et al. FeGC: An Efficient Garbage Collection Scheme for Flash Memory Based Storage Systems [J].Journal of Systems and Software，2011，84（9）：1507-1523.
14. [13] YAN H，YAO Q. An Efficient File-aware Garbage Collection Algorithm for NAND Flash-based Consumer Electronics [J].IEEE Transactions on Consumer Electronics，2015，60（4）：623-627.
15. [14] YAN H，HUANG Y，ZHOU X Z，et al. An Efficient and Non-time-sensitive File-aware Garbage Collection Algorithm for NAND Flash-based Consumer Electronics [J].IEEE Transactions on Consumer Electronics，2019，65（1）：73-79.
16. [15] VIDYASAGAR M. A Tutorial Introduction to Reinforcement Learning [J].SICE Journal of Control， Measurement, and System Integration，2023，16（1）：172-191.
17. [16] HUYNH T N，NGUYEN K D. Reinforcement Learning-driven Small Droplet Detection for Precision Agricultural Spraying [J].Smart Agricultural Technology，2025，12：101450-101450.
18. [17] DABNEY W，OSTROVSKI G，BARRETO A. Temporally-extended ϵ-greedy exploration [J/OL].arXiv:2006.01782 [cs.LG].（2020-06-02）.https://arxiv.org/abs/2006.01782.

作者简介

冉勇（2000—），男，汉族，贵州遵义人，硕士在读，研究方向：NAND闪存垃圾回收算法；通信作者：严华（1971—），男，汉族，四川渠县人，教授，博士，研究方向：智能信息系统。