CentOS 7 安装 ELK 7.4.2

日志主要包括系统日志和应用程序日志,运维和开发人员可以通过日志了解服务器中软硬件的信息,检查应用程序或系统的故障,了解故障出现的原因,以便解决问题。分析日志可以更清楚的了解服务器的状态和系统安全状况,从而可以维护服务器稳定运行。
​ 但是日志通常都是存储在各自的服务器中。如果管理数十台服务器, 查阅日志需要依次登陆不同的服务器,查看过程就会很繁琐从而导致工作效率低下。虽然可以使用 rsyslog 服务将日志汇总。但是统计一些日志中的数据或者检索也是很麻烦的,一般使用grep、awk、wc、sort等Linux命令来统计和检索。如果对数量巨大的日志进行统计检索,人工的效率还是十分低下。

通过我们对日志进行收集、汇总到一起,完整的日志数据具有非常重要的作用:
信息查找。通过检索日志信息,查找相应的报错,可以快速的解决BUG。
数据分析。如果是截断整理格式化后的日志信息,可以进一步对日志进行数据分析和统计,可以选出头条,热点,或者爆款。
系统维护。对日志信息分析可以了解服务器的负荷和运行状态。可以针对性的对服务器进行优化。

ELK实时日志收集分析系统可以完美的解决以上问题。ELK作为一款开源软件可以免费使用,也有强大的团队和社区对它实时更新。

ELK主要由ElasticSearch、Logstash和Kibana三个开源工具组成,还有其他专门由于收集数据的轻量型数据采集器Beats。

Elasticsearch :分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析,并能将这三者结合起来。Elasticsearch 是用Java 基于 Lucene 开发,现在使用最广的开源搜索引擎之一,Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。
在elasticsearch中,所有节点的数据是均等的。
Logstash :数据收集处理引擎。支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储以供后续使用。
Kibana :可视化化平台。它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。
Filebeat:轻量级数据收集引擎。相对于Logstash所占用的系统资源来说,Filebeat 所占用的系统资源几乎是微乎及微。它是基于原先 Logstash-fowarder 的源码改造出来。换句话说:Filebeat就是新版的 Logstash-fowarder,也会是 ELK Stack 在 Agent 的第一选择。Elasticsearch、Logstash、Kibana、Filebeat安装的版本号必须全部一致,不然会出现kibana无法显示web页面。

Filebeat在APP Server端收集日志
Logstash处理过滤Filebeat收集过来的日志
Elasticsearch存储Logstash提供的处理之后的日志,用以检索、统计
Kibana提供web页面,将Elasticsearch的数据可视化的展示出来

配置ELK yum源

# cat <<EOF | sudo tee /etc/yum.repos.d/elasticsearch.repo 
[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF

安装Elasticsearch

# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
yum -y install elasticsearch

配置JVM

# vim /etc/elasticsearch/jvm.options
-Xms1g
-Xmx1g

-Xms和-Xmx值根据内存大小实际情况来设置,官方建议设置最大不要超过32G

配置Elasticsearch参数

# vim /etc/elasticsearch/elasticsearch.yml
#集群名称
cluster.name: my-application
#节点名称
node.name: node-1
#绑定IP地址
network.host: 127.0.0.1
#配置集群配置,填写集群节点,会自动发现节点
cluster.initial_master_nodes: ["node-1"]

启动Elasticsearch

# systemctl start elasticsearch.service

9300端口用于集群通信,9200端口用于数据传输。

Elasticsearch API

  • 集群状态:http://127.0.0.1:9200/_cluster/health?pretty
  • 节点状态:http://127.0.0.1:9200/_nodes/process?pretty
  • 分片状态:http://127.0.0.1:9200/_cat/shards
  • 索引分片存储信息:http://127.0.0.1:9200/index/_shard_stores?pretty
  • 索引状态:http://127.0.0.1:9200/index/_stats?pretty
  • 索引元数据:http://127.0.0.1:9200/index?pretty

安装Kibana

# yum --y install kibana

配置Kibana

vim /etc/kibana/kibana.yml
server.port: 5601
server.host: "172.16.1.50"
elasticsearch.hosts: ["http://127.0.0.1:9200"]
logging.dest: /var/log/kibana/kibana.log # 配置kibana日志输出到哪里

启动Kibana

# systemctl start kibana.service

安装Logstash

# yum --y install logstash

配置logstash

vim /etc/logstash/conf.d/syslog.conf
input{
    syslog {
        host => "0.0.0.0"
        port => "514"
        type => "syslog"
    }
}

output {
    stdout {
        codec => rubydebug
    }
} 

启动Logstash

# systemctl start logstash.service

配置开机启动

# systemctl enable elasticsearch.service
# systemctl enable kibana.service
# systemctl enable logstash.service