es+kibana+filebeat采集docker日志实战

前言

最近看了看 docker 标准输出和标准错误的日志采集
发现 filebeat 可以直接监听 docker的启动结束等动作并且几乎不需要配置什么就可以很轻松的采集到node上的docker运行的日志
而且也可以直接接入 k8s的标准输出和错误日志贯彻了 elastic 的简单粗暴的套路

实战

启动 elastic-search 和kibana

这里直接使用docker 启动即可如果是生产或者预发环境建议使用官方的镜像作基础镜像在上面进行个性化优化

1	sudo docker run -d -p 9200:9200 -p 5601:5601 --name es-kibana-test nshou/elasticsearch-kibana

安装filebeat

这里使用下载压缩包方式安装因为改配置简单如果需要使用docker方式启动改配置不是很方便需要进行调整这里只是作演示就直接选择压缩包方式使用

1
2
3

#https://www.elastic.co/downloads/beats/filebeat
weget   https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.1-linux-x86_64.tar.gz
sudo zxvf ./filebeat-6.3.1-linux-x86_64.tar.gz

修改filebeat配置

先备份默认的filebeat.yml

1	sudo cp ./filebeat.yml filebeat.yml.bak

修改安装目录中filebeat.yml 主要是修改 inputs的type 自动安装kibana的索引和es地址
具体配置详情参考:https://www.elastic.co/docker-kubernetes-container-monitoring

#=========================== Filebeat inputs =============================

filebeat.inputs:
 - type: docker
   containers.ids:
           - '*'
   processors:
       - add_docker_metadata: ~


#============================== Kibana =====================================

setup.kibana:
  host: "localhost:5601"


#================================ Outputs =====================================

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["localhost:9200"]

启动并且根据配置自动安装filebeat 索引

1 2	# 启动并且安装 filebeat sudo ./filebeat --setup -e

这个时候在这台node上所有docker的日志都会被filebeat采集起来并且发送到es上

产出日志后直接在kibana上查看即可

遇到的问题

kibana 建立读取索引的时候报错 FORBIDDEN/12/index read-only / allow delete (api)]
删除索引的只读权限即可

1	curl -XPUT -H "Content-Type: application/json" http://ip:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

总结

由于 docker集群的日志采集比较操蛋可能是多种不同的系统运行(例如java类应用、各种服务软件的日志之类的) 那么在日志格式上无法做到统一
采用这种通过收集docker 的标准输出和错误输出可以收集整个docker集群中的docker的日志方便查看和管理

当然filebeat也支持直接和k8s集群接入