文章详情

摘要

为了高效、准确地从网页中提取有价值的信息，文章提出了一种基于深度学习的网页内容解析方法。该方法旨在从复杂的超文本标记语言（HTML）中提取出正文信息。该方法将深度学习的特征提取能力、自然语言处理技术以及HTML文档中的布局信息相结合，构建了多层次神经网络模型，从而实现了对网页内容的识别。实验结果表明，与传统的基于文本密度的网页内容提取方法相比，该方法在准确率、自适应性和鲁棒性方面均表现出明显的优势。

关键词

网页内容解析；深度学习；神经网络；自适应性

参考文献

1. [1] BARBARESI A. Trafilatura: A Web Scraping Library and Command-Line Tool for Text Discovery and Extraction [C]//In Proceedings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations.Online：Association for Computational Linguistics，2021：122-131.
2. [2] 郑志建，俞发仁，魏晓微，等.基于Python的职位网站爬取设计与实现 [J].计算机与网络，2024，50（1）：24-27.
3. [3] 陈迎仁，郭莹楠，郭享，等.基于特征相似度计算的网页包装器自适应 [J].计算机科学，2021，48（S2）：218-224+257.
4. [4] SONG R H，LIU H F，WEN J R，et al. Learning Block Importance Models for Web Pages [C]//Proceedings of the 13th international conference on World Wide Web.ACM，2004：203-211.
5. [5] 吕芳.基于视觉特征的钓鱼网页相似性计算技术研究 [D].哈尔滨：哈尔滨工业大学，2015.
6. [6] 沈怡涛.基于视觉特征和文本结构分析的中文网页自动摘要技术研究 [D].上海：华东师2范大学，2014.
7. [7] 张鑫，陈梅，王翰虎，等.基于视觉特征和领域本体的Web信息抽取 [J].计算机技术与发展，2011，21（2）：58-61+65.
8. [8] 洪鸿辉，丁世涛，黄傲，等.基于文本及符号密度的网页正文提取方法 [J].电子设计工程，2019，27（8）：133-137.
9. [9] 杨大为，王诗念，包立岩，等.基于文本及HTML标签密度的网页正文提取 [J].沈阳理工大学学报，2022，41（4）：14-19.
10. [10] CONNEAU A，KHANDELWAL K，GOYAL N，et al. Unsupervised Cross-lingual Representation Learning at Scale [J/OL].arXiv:1911.02116 [cs.CL].[2024-10-18].https://arxiv.org/abs/1911.02116?file=1911.02116.

基金项目

国家自然科学基金-面向公共安全的场景智能感知与异常行为预警（U20B2069）

作者简介

袁公萍（1992—），男，汉族，贵州榕江人，工程师，硕士研究生，研究方向：数据采集、深度学习、机器学习；谢红韬（1992—），男，汉族，贵州遵义人，工程师，硕士研究生，研究方向：机器学习；舒珏淋（1992—），男，汉族，贵州镇远人，工程师，硕士研究生，研究方向：大数据、机器学习；周维（1992—），男，汉族，湖北荆州人，工程师，硕士研究生，研究方向：统计分析、深度学习、机器学习。