文章详情

摘要

在信息化时代，文本自动分类对提升信息检索效率十分重要。然而，传统的分类模型，如朴素贝叶斯、支持向量机（SVM）和逻辑回归，在处理长文本和深层语义理解方面存在不足。因此，该研究提出基于Transformer的文本分类模型，通过多头注意力机制有效提取文本中的关键信息和语义联系，从而提升文本分类性能。实验表明，该模型在多个数据集上的表现均优于传统的卷积神经网络（CNN）和长短期记忆网络（LSTM），准确率最高可达94.62%，验证了其在文本分类任务中的有效性。

关键词

机器学习；自然语言理解；多头注意力机制；文本分类；Transformer

参考文献

1. [1] 杜思佳，于海宁，张宏莉.基于深度学习的文本分类研究进展 [J].网络与信息安全学报，2020，6（4）：1-13.
2. [2] 张文峰，奚雪峰，崔志明，等.多标签文本分类研究回顾与展望 [J].计算机工程与应用，2023，59（18）：28-48.
3. [3] 吴皋，李明，周稻祥，等.基于深度集成朴素贝叶斯模型的文本分类 [J].济南大学学报：自然科学版，2020，34（5）：436-442.
4. [4] 辛梓铭，王芳.基于改进朴素贝叶斯算法的文本分类研究 [J].燕山大学学报，2023，47（1）：82-88.
5. [5] 杨一璞，朱永华，高海燕，等.一种结合文章信息的新闻评论情感分析方法 [J].上海大学学报：自然科学版，2022，28（1）：170-178.
6. [6] 成洁.一种基于SVM的英/美式英语的文本分类方法 [J].电子设计工程，2021，29（14）：70-74+79.
7. [7] 李晓英，杨名，全睿，等.基于深度学习的不均衡文本分类方法 [J].吉林大学学报：工学版，2022，52（8）：1889-1895.
8. [8] 贾澎涛，孙炜.基于深度学习的文本分类综述 [J].计算机与现代化，2021（7）：29-37.
9. [9] 王海涛，宋文，王辉.一种基于LSTM 和 和CNN混合模型的文本分类方法 [J].小型微型计算机系统，2020，41（6）：1163-1168.
10. [10] 刘爽，丁哲，吕超，等.基于文本分类和知识挖掘的远洋渔船安全问题分析 [J].农业工程学报，2023，39（24）：215-223.
11. [11] 唐庄，王志舒，周爱，等.面向文本分类的Transformer-capsule集成模型 [J].计算机工程与应用，2020，56（24）：151-156.
12. [12] 张杨帆，丁锰.改进的基于Transformer的双向编码器的对话文本识别 [J].科学技术与工程，2022，22（29）：12945-12953.
13. [13] LEE J-S，HSIANG J. PatentBERT: Patent Classification with Fine-tuning a Pre-trained BERT Model [J/OL].arXiv:1906.02124 [cs.CL].（2019-05-14）.https://arxiv.org/abs/1906.02124.
14. [14] GREENE D，CUNNINGHAM P. Practical Solutions to the Problem of Diagonal Dominance in Kernel Document Clustering [C]//23rd International Conference on Machine Learning.Pittsburgh：ACM，2006：377-384.
15. [15] ZHANG X，ZHAO J B，LECUN Y. Character-level Convolutional Networks for Text Classification [J/OL].arXiv:1509.01626 [cs.LG].（2015-09-04）.https://arxiv.org/abs/1509.01626?file=1509.01626.
16. [16] MAAS A L，DALY R E，PHAM P T，et al. Learning Word Vectors for Sentiment Analysis [C]//49th Annual Meeting of the Association for Computational Linguistics：Human Language Technologies.Portland：ACM，2011：142-150.

作者简介

林云（1990.10—），男，汉族，福建福清人，讲师，硕士，研究方向：机器学习、自然语言处理和移动端能耗优化。