当前位置>主页 > 期刊在线 > 物联网 >

物联网2019年15期

基于ELK 的日志分析平台搭建与优化
李钦,杨程
(广州致远电子有限公司,广东 广州 510660)

摘  要:在云计算和大数据时代,针对业务服务运行状态的实时监控与日志数据分析具有非常重要的意义,而为了达成该目标,首先需要构建一个符合企业自身业务场景的集中式日志管理平台的解决方案。本文采用目前流行的开源集中式日志解决方案——ELK Stack(Elasticsearch、Logstash、Kibana Stack),探讨该方案中三大组件的核心功能和使用方法,在此基础上搭建对海量日志进行实时监控和检索分析的日志监控处理方案,以及研究如何优化在性能偏低的设备节点部署该方案的方法。


关键词:日志处理;ELK;filebeat



中图分类号:TP311.1         文献标识码:A         文章编号:2096-4706(2019)15-0193-02


Construction and Optimization of Log Analysis Platform Based on ELK

LI Qin,YANG Cheng

(Guangzhou Zhiyuan Electronics Co.,Ltd.,Guangzhou 510660,China)

Abstract:In the era of cloud computing and big data,the real-time monitoring and log data analysis of business service running state is of great significance. To achieve this goal,it is necessary to build a centralized log management platform solution in line with the enterprise’s own business scenario. Based on the currently popular open source centralized logging solutions——ELK Stack( Elasticsearch,Logstash,Kibana Stack),discusses the scheme of the three components of the core functions and using methods,based on the building of massive logs real-time monitoring and analysis of log to monitor treatment scheme,it also studies how to optimize the deployment of the scheme in low performance equipment nodes.

Keywords:log processing;ELK;filebeat


参考文献:

[1] 饶琛琳.ELK Stack 权威指南 [M]. 第2 版. 北京:机械工业出版社,2017:98-175.

[2] 胡庆宝,姜晓巍,石京燕,等. 基于Elasticsearch 的实时集群日志采集和分析系统实现 [J]. 科研信息化技术与应用,2016,7(3):13-18.

[3] 陈建娟,刘行行. 基于Kubernetes 的分布式ELK 日志分析系统 [J]. 电子技术与软件工程,2016(15):211-212+214.

[4] [ 美] 拉斐尔·酷奇,马雷克·罗戈任斯基. 深入理解Elasticsearch [M]. 第2 版. 张世武,余洪淼,商旦,译. 北京:机械工业出版社,2017:159-181.

[5] [ 美] 拉杜·乔戈,马修·李·欣曼,罗伊·罗素.Elasticsearch实战 [M]. 黄申,译. 北京:人民邮电出版社,2018:268-310.

[6] Elasticsearch.Logstash Reference [EB/OL].https://www.elastic.co/guide/en/logstash/7.0/index.html,2019-06-25.

[7] Elasticsearch.Filebeat Reference [EB/OL].https://www.elastic.co/guide/en/beats/filebeat/7.0/index.html,2019-06-25.


作者简介:

李钦(1986-),男,汉族,广西南宁人,软件工程师,本科,研究方向:计算机软件、服务器运维、物联网系统设计;

杨程(1992-),男,汉族,安徽桐城人,射频工程师,毕业于福建农林大学,工学本科,研究方向:微波射频系统、物联网系统设计。