文章详情

摘要

为提升海洋石油行业工程施工质量检查的智能化水平，提出一种基于中文预训练模型Chinese-BERT和双向长短时记忆网络（BiLSTM）的施工质量问题分类算法。Chinese-BERT模型采用中文预训练能够更好地进行中文文本的特征提取，提高文本向量语义表示的准确性，而BiLSTM则进一步对Chinese-BERT得出的特征向量进行关键信息提取。将模型在真实数据中进行有效性验证，结果显示，所提模型在分类性能上优于其他对比模型，能有效地解决质量问题分类问题。

关键词

海洋石油工业；质量问题；文本分类；Chinese-BERT；BiLSTM

参考文献

1. [1] CAHYANI D E，PATASIK I. Performance Comparison of TF-IDF and Word2Vec Models for Emotion Text Classification [J].Bulletin of Electrical Engineering and Informatics，2021，10（5）：2780-2788.
2. [2] 王磊.基于混合神经网络的中文短文本分类方法研究 [D].杭州：浙江理工大学，2019.
3. [3] 王铁君，闫悦，郭晓然，等.融合多尺度CNN与双向LSTM的唐卡问句分类模型 [J].科学技术与工程，2024，24（22）：9490-9497.
4. [4] BAHDANAU D，CHO K，BENGIO Y. Neural Machine Translation by Jointly Learning to Align and Translate [J/OL].arXiv:1409.0473 [cs.CL].[2024-10-03].https://arxiv.org/abs/1409.0473?context=stat.ML.
5. [5] LI Z，XU H，ZHANG Y，et al. Hierarchical Attention Networks for Hyperspectral Image Classification [C]//MIPPR 2019: Remote Sensing Image Processing, Geographic Information Systems, and Other Applications.Wuhan：SPIE，2020：114320D.https://doi.org/10.1117/12.2538278.
6. [6] SHEM TOV E，SIPPER M，ELYASAF A. BERT Mutation: Deep Transformer Model for Masked Uniform Mutation in Genetic Programming [J].Mathematics，2025，13（5）：779-779.
7. [7] CUI Y，CHE W，LIU T，et al. Pre-Training with Whole Word Masking for Chinese BERT [J].IEEE/ACM Transactions on Audio, Speech, and Language Processing，2021，29：3504-3514.
8. [8] 安锐，陈海龙，艾思雨，等.基于BERT-LSTM模型的航天文本分类研究 [J].哈尔滨理工大学学报，2024，29（4）：40-49.
9. [9] 黄远，戴晓红，黄伟建，等.基于A-BiLSTM和CNN的文本分类 [J].计算机工程与设计，2024，45（5）：1428-1434.
10. [10] DUAN S，ZHAO H. Attention Is All You Need for Chinese Word Segmentation [C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing （EMNLP）.Association for Computational Linguistics，2020：3862-3872.
11. [11] 陈晓江，杨晓奇，陈广豪，等.混合BERT和宽度学习的低时间复杂度短文本分类 [J].山东大学学报：工学版，2024，54（4）：51-58+66.
12. [12] DU J，VONG C M，CHEN C L P. Novel Efficient RNN and LSTM-Like Architectures: Recurrent and Gated Broad Learning Systems and Their Applications for Text Classification [J].IEEE Transactions on Cybernetics，2020：1-12.
13. [13] 郝超，裘杭萍，孙毅，等.多标签文本分类研究进展 [J].计算机工程与应用，2021，57（10）：48-56.
14. [14] YOGATAMA D，DYER C，LING W，et al. Generative and Discriminative Text Classification with Recurrent Neural Networks [J/OL].arXiv:1703.01898 [stat.ML].[2024-09-27].https://arxiv.org/abs/1703.01898?context=cs.CL.
15. [15] 郑承宇，王新，王婷，等.基于Stacking-Bert集成学习的中文短文本分类算法 [J].科学技术与工程，2022，22（10）：4033-4038.
16. [16] 代林林，张超群，汤卫东，等.融合对比学习和BERT的层级多标签文本分类模型 [J].计算机工程与设计，2024，45（10）：3111-3119.

基金项目

国家重点研发计划（2022YFC2806100）

作者简介

蔡玉华（1992—），男，汉族，河北文安人，工程师，本科，研究方向：质量监督；安鑫鹏（1999—），男，汉族，山东淄博人，硕士研究生在读，研究方向：计算机技术；通信作者：马永军（1970—），男，汉族，山东日照人，教授，博士，研究方向：机器学习。