关于kubernetes的日志分好几种,针对kubernetes本身而言有三种:
1、资源运行时的event事件。比如在k8s集群中创建pod之后,可以通过 kubectl describe pod 命令查看pod的详细信息。
2、容器中运行的应用程序自身产生的日志,比如tomcat、nginx、php的运行日志。比如kubectl logs redis-master-bobr0。这也是官方以及网上多数文章介绍的部分。
3、k8s各组件的服务日志,比如 systemctl status kubelet。
容器日志收集的方式通常有以下几种:
1、容器外收集。将宿主机的目录挂载为容器的日志目录,然后在宿主机上收集。
2、容器内收集。在容器内运行一个后台日志收集服务。
3、单独运行日志容器。单独运行一个容器提供共享日志卷,在日志容器中收集日志。
4、网络收集。容器内应用将日志直接发送到日志中心,比如java程序可以使用log4j 2转换日志格式并发送到远端。
5、通过修改docker的--log-driver。可以利用不同的driver把日志输出到不同地方,将log-driver设置为syslog、fluentd、splunk等日志收集服务,然后发送到远端。
从docker1.8起docker内置了fluentd log driver,docker默认的LogDriver是json-driver,将日志以JSON文件的方式存储。
#docker info |grep 'Logging Driver' Logging Driver: json-file |
Docker支持的LogDriver具体来说有以下几种,详情请参考docker官网。
Driver Description none No logs will be available for the container and docker logs will not return any output. json-file The logs are formatted as JSON. The default logging driver for Docker. syslog Writes logging messages to the syslog facility. The syslog daemon must be running on the host machine. journald Writes log messages to journald. The journald daemon must be running on the host machine. gelf Writes log messages to a Graylog Extended Log Format (GELF) endpoint such as Graylog or Logstash. fluentd Writes log messages to fluentd (forward input). The fluentd daemon must be running on the host machine. awslogs Writes log messages to Amazon CloudWatch Logs. splunk Writes log messages to splunk using the HTTP Event Collector. etwlogs Writes log messages as Event Tracing for Windows (ETW) events. Only available on Windows platforms. gcplogs Writes log messages to Google Cloud Platform (GCP) Logging. nats NATS logging driver for Docker. Publishes log entries to a NATS server. |
容器输出到控制台的日志,都会以 *-json.log 的命名方式保存在 /var/lib/docker/containers/ 目录下。
kubernetes 官方推荐的方案是 Flunetd+ElasticSearch+Logstash。网上常见的日志收集器还有filebeat、logspout等。
<iframe id="iframe_0.38376760738901794" style="margin: 0px; padding: 0px; border-style: none; border-width: initial; width: 500px; height: 350px;" src="data:text/html;charset=utf8,%3Cstyle%3Ebody%7Bmargin:0;padding:0%7D%3C/style%3E%3Cimg%20id=%22img%22%20src=%22https://kubernetes.io/images/docs/user-guide/logging/logging-with-streaming-sidecar.png?_=6410249%22%20style=%22border:none;max-width:730px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.38376760738901794',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no"></iframe>
在每个node上各运行一个Flunetd容器,对本节点 /var/log 和 /var/lib/docker/containers/ 两个目录下的日志进行采集,然后汇总到elasticsearch集群,最后通过kibana展示。
为了让fluentd在每个node上运行一份,这里有几种不同的方法:
1、直接在Node宿主机上安装fluentd。这种方法适合elk都安装在物理机上的场景。
2、利用kubelet的–config参数,为每个node分别运行一个静态fluentd pod。
3、利用daemonset来让fluentd分别在每个node上运行一个pod。(daemontset是k8s的一种资源对象)
官方使用的是第三种方式,将ElesticSearch和kibana都运行在k8s集群中,然后用daemonset运行fluentd。具体实现过程github上有示例文件,这里不做详细描述。
除了容器应用的日志之外,还有一个重要的部分就是,程序自身的日志。一般情况下,会将程序日志写到固定目录文件、或者写入到中间件保存和读取。
这部分日志的处理,可以直接通过日志文件收集、或者是让开发程序的同学修改程序把日志输出到中间件或者是直接输出到elk上。
http://www.cnblogs.com/keithtt/p/6410249.html
相关推荐
Kubernetes日志收集解决方案.docx
Kubernetes日志采集与分析的最佳实践 分享嘉宾:阿里云日志服务技术专家 元乙
KR Kr是Kubernetes开发人员用来快速收集和汇总由Kubernetes集群中各个Pod生成的容器错误日志条目的工具。 这些日志条目可通过kubectl逐个(逐个)访问。 Kr收集,过滤和汇总错误日志条目。 它的主要用例是在开发阶段...
Kubernetes对于容器实例的日志收集,并没有提供原生的解决方案。但提供使用kubectl logs命令查看容器实例运行时的日志。kubectl logs命令实现的基本原理为:容器运行时默认将标准输出和标准错误中的日志输出到磁盘上...
Pod连接节点的/ var / log / containers文件夹,并通过收集日志添加到mongodb中。TheYkk K8S Logger该工具通过deamonset在K8s中的每个节点上运行Pod。 Pod连接节点的/ var / log / containers文件夹,并通过收集日志...
Kubernetes离线部署+EFK日志收集资源.rar
测井作业员基于Fluentd和Fluent位的Kubernetes日志记录运算符。 记录操作员可自动执行Kubernetes记录管道的部署和配置。 操作员在每个节点上部署和配置Fluent Bit守护程序集,以从节点文件系统收集容器和应用程序...
k8s 知识总结 自动化安装,日志收集,监控报警,ceph存储,动态pv ,应用部署等,欢迎大家学习使用
更新(20年12月):请注意,日志库已不再积极开发。 早在2017年(当我们创建此项目时),就没有其他解决方案来获得我们急需的东西(在)。 但是,创建此类工具超出了我们的主要重点,... 现成的Kubernetes日志管理解
50 | 让日志无处可逃:容器日志收集与管理50 | 让日志无处可逃:容器日志收集与管理50 | 让日志无处可逃:容器日志收集与管理张磊 2018-12-17讲
https://blog.csdn.net/weixin_46560589/article/details/128727196 文章【Kubernetes 企业项目实战】04、基于 K8s 构建 EFK+logstash+kafka 日志平台(下)安装收集日志组件 Fluentd 所需镜像文件!
14 | 日志采集:如何在 Kubernetes 中做日志收集与管理? 15 | Prometheus:Kubernetes 怎样实现自动化服务监控告警? 16 | 迎战流量峰值:Kubernetes 怎样控制业务的资源水位? 17 | 案例实战:教你快速搭建 ...
阿里云开源插件log-pilot(logpilot)搜集k8s部署应用容器内日志—详细文档
docker默认的日志驱动是json-file,每一个容器都会在本地生成一个/var/lib/docker/containers/containerID/containerID-json.log,而日志驱动是支持扩展的,本章主要讲解的是Fluentd驱动收集docker日志. Fluentd是用于...
由于传统的单体应用时代,...日志采集:可以使用Filebeat或者其他日志采集器收集微服务的日志数据,然后将数据发送到Kafka中[1]。 配置Logstash:配置Logstash以从Kafka消费数据,并将消费后的数据写入到Elasticsearch
该图表在Kubernetes集群中创建了一个Kubernetes DaemonSet以及其他Kubernetes对象,以收集该集群的: 指标 跟踪 Splunk日志观察器的日志 :construction: 该项目目前在BETA中。 入门 先决条件 使用舵图需要以下...
请参见这篇博客: : 与Hyperf官方骨骼的区别增加Kubernetes健康检查路由(具体内容仍需用户自主实现)按照Docker容器习惯,将日志输出到stdout在生产环境时输出JSON格式适合集成的FluentBit,ELK等收集工具。...
特别是在Kubernetes等复杂分布式系统中,有效地收集、存储和分析日志、指标和追踪数据变得至关重要。本次演讲将介绍如何结合Elasticsearch和OpenTelemetry技术,构建一个现代化的可观测性平台,以在Kubernetes环境中...
对于管理员视角,容器云管理平台解决方案具有可视化管理、身份验证和授权、事件和日志收集、监控和报警等功能;对于开发者视角,容器云管理平台解决方案具有自动化的容器和应用构建、部署、扩展、运行状况管理等功能...
LogDNA代理LogDNA代理是一种快速,资源高效的日志收集客户端,可将日志转发到 。 该版本的代理程序用编写,以确保最佳性能,并且与LogDNA的Web应用程序结合使用时,可为分布式系统(包括集群)提供强大的日志管理...