在编写应用程序的时候,通常会记录日志以便事后分析,在很多情况下是产生了问题之后,再去查看日志,是一种事后的静态分析。在很多时候,我们可能需要了解整个系统在当前,或者某一时刻运行的情况,比如当前系统中对外提供了多少次服务,这些服务的响应时间是多少,随时间变化的情况是什么样的,系统出错的频率是多少。这些动态的准实时信息对于监控整个系统的运行健康状况来说很重要。
一些应用程序,比如对外提供接口或者服务的WebService,对整个系统的实时运行情况进行监控显得尤为重要,着就像我们操作系统里面的资源管理器一样,如果能够实时或者准实时的看到整个系统耗费的CPU,内存等资源,对我们快速对系统做出响应,以及优化很重要。并且,这些实时的性能参数信息,对于一些高级应用场景,比如服务的熔断机制(需要实时统计系统出错比例和响应时间),只有做到了实时监控才能提供这些数据,才能实现这种提高系统稳健性的功能。
前几天在InfoQ的一篇采访文章中看到一句话 “Profiling特别重要。如果能有一个特别强大的Profiling系统,就知道整个系统在哪个地方,哪台机器上,花了多少CPU、内存、磁盘IO或者网络带宽等资源,才能知道优化什么地方效益最大。”
同样,对于WebService的监控,比如在那个地方,那台机器上,花了多少CPU,多少内存,每一个服务的响应时间,出错的次数频率等,这些信息记录下来之后,我们就可以看到服务在运行时的动态的表现,更加容易找出错误或者定位问题点来进行优化。
最简单的做法是,在应用系统的关键地方,或者所有程序的入口,出口进行埋点,然后将这些采样信息不断的发送到某一个消息队列或者内存DB中,然后其他系统进行读取分析和展示。
在Java中有一个开源的名为Metrics的项目,它能够捕获JVM以及应用层面的性能参数,他的作者Coda Hale介绍了什么是Mertics并且为什么Metrics在应用程序系统中很有必要,视频和演讲可以分别到YouTube和SlideShare上可以下载。在.NET中有对其进行移植的项目叫 Metrics.NET。
在开始介绍Metric之前,需要先看看一些基本的度量器类型,以及常见的使用场景,才能知道如何使用。
一 度量类型
Metrics提供5种基本的度量类型:Gauges, Counters, Histograms, Meters和 Timers
Gauge
Gauge是最简单的度量类型,只有一个简单的返回值,他用来记录一些对象或者事物的瞬时值。
比如,我们类型为Gauge的计数器来记录某个服务目前开通的城市个数
Metric.Gauge("Service Cities Count", () => Cities.Count, new Unit("个"));
Counters
Counter是一个简单64位的计数器,他可以增加和减少。
比如我们可以定义两个Counter类型的计数器,用来统计所有服务请求数目,和目前正在处理的请求总数。
/// <summary> /// keep the total count of the requests /// </summary> private readonly Counter totalRequestsCounter = Metric.Counter("Requests", Unit.Requests); /// <summary> /// count the current concurrent requests /// </summary> private readonly Counter concurrentRequestsCounter = Metric.Counter("SampleMetrics.ConcurrentRequests", Unit.Requests);
这样,在我们请求处理开始的时候,同时将这两个计数器自增。
this.concurrentRequestsCounter.Increment(); // increment concurrent requests counter this.totalRequestsCounter.Increment(); // increment total requests counter
当某一个请求处理完成之后,将目前正在处理的请求减一
this.concurrentRequestsCounter.Decrement(); // decrement number of concurrent requests
这种计数器也可以用来统计诸如当前有多少人在线,或者服务器中有多少处于有效期内的session
Meters
Meter是一种只能自增的计数器,通常用来度量一系列事件发生的比率。他提供了平均速率,以及指数平滑平均速率,以及采样后的1分钟,5分钟,15分钟速率。
比如需要统计请求的速率,比如统计平均每分钟内有多少次请求进来。只需要定义一个metric
/// <summary> /// measure the rate at which requests come in /// </summary> private readonly Meter meter = Metric.Meter("Requests", Unit.Requests,TimeUnit.Seconds);
在处理请求的地方,调用Mark方法即可。
this.meter.Mark(); // signal a new request to the meter
再比如,要测量服务出错的概率,比如每小时出错多少次。可以定义一个metric。
/// <summary> /// measure the rate of service exception /// </summary> private readonly Meter errorMeter = Metric.Meter("Error", Unit.Errors, TimeUnit.Hours);
这样,在处理请求的时候,如果出现异常了,调用一下errorMeter的Mark方法即可。
this.errorMeter.Mark();// signal a new error to the meter
Histograms
Histrogram是用来度量流数据中Value的分布情况,Histrogram可以计算最大/小值、平均值,方差,分位数(如中位数,或者95th分位数),如75%,90%,98%,99%的数据在哪个范围内。
比如,我们想度量,所有传进来服务的请求参数的长度分布。那么,可以定义一个histogram。
/// <summary> /// keep a histogram of the input data of our request method /// </summary> private readonly Histogram histogramOfData = Metric.Histogram("ResultsExample", Unit.Items);
然后在请求的地方,调用其Update方法来更新值。
this.histogramOfData.Update(request.length, methodName); // update the histogram with the input data
Timer
Timer是Histogram跟Meter的一个组合,比如要统计当前请求的速率和处理时间。
就可以定义一个Timer:
/// <summary> /// measure the time rate and duration of requests /// </summary> private readonly Timer timer = Metric.Timer("Requests", Unit.Requests);
在使用的时候,调用timer的NewContext即可。
using (this.timer.NewContext(i.ToString())) // measure until disposed { ... }
二 度量数据的输出
收集了这么多数据之后,我们需要把数据时实的动态展示或者保存起来。Metric提供了多种的数据报告接口。包括自带的Metrics.NET.FlotVisualization, 以及输出到专业的系统监控Graphite,输出到开源,分布式,时间序列的中InfluxDB,或者输出到ElasticSearch中。配置起来也非常简单。比如如果要直接在http页面上展现,只需要在初始化的时候,设置合适的EndPoint即可:
Metric.Config .WithHttpEndpoint("http://localhost:1234/metrics/") .WithAllCounters() .WithInternalMetrics() .WithReporting(config => config .WithConsoleReport(TimeSpan.FromSeconds(30))
然后在浏览器中输入 http://localhost:1234/metrics/,就可以看到各种采集的准实时各种度量信息:
上面自带的性能DashBoard略显简陋。 通常,我们一般会将这些实时采集的数据存储到分布式时序数据库InfluxDB中,然后利用开源的图表控件Grafana来实时展现这些数据,比如,可以制作想下面这样的,动态的性能准实时监控系统:
三 总结
本文介绍了如何使用埋点和各种度量工具来实时监测应用程序的性能,介绍了.NET中Metrics度量工具的使用。与传统的记录日志的方式不同,这种实时或者准实时的对当前系统各种关键指标的采样和监控,对于应用程序的运维,性能优化,提供了一种动态的视角,能帮助我们更好的了解当前应用程序或者服务在线上的各种性能参数和表现状态。Metrics的采样应该尽量减少对原有系统的侵入性,所以一般的最好是将采样的结果存储到消息队列或者内存DB中,然后进行动态展示,另外采样频率也是需要考虑的一个重要因素。因为对于一个较大的系统来说,实时采样产生的数据量会比较大。InfluxDB 似乎只能在非Windows平台使用,所以本文没有完整演示整个Metrics+InfluxDB+Grafana 构建应用程序实时监控系统的搭建。不过相信大家对照着相关文档,应该不难实现。
希望本文对您了解如何实时监控应用程序性能,以及如何构建应用程序性能参数dashboard有所帮助。
四 参考资料
- http://www.infoq.com/cn/articles/interview-alibaba-zhaohaiping
- https://github.com/etishor/Metrics.NET
- http://www.cnblogs.com/shanyou/p/4004711.html
- http://influxdb.com/
- http://grafana.org/
- http://xiaorui.cc/tag/influxdb/
http://www.cnblogs.com/yangecnu/p/Using-Metrics-to-Profiling-WebService-Performance.html
相关推荐
SkyWalking :一个APM(应用程序性能监视器)系统,专门为微服务,云原生和基于容器(Docker,Kubernetes,Mesos)的体系结构而设计。 抽象 SkyWalking是一个开源APM系统,包括对Cloud Native体系结构中的分布式...
行为守则注意:对该项目的所有对话和贡献均应遵守 。这是怎么回事? 如果您不了解应用程序在做什么,则很难在生产环境中运行应用程序。... 每个人都赢了,并最终了解了有关其应用程序性能的更多信息。项目布局
AppPerf(应用程序性能监视) 使用此链接加入Slack: : 更多图像在底部。 注意:此应用程序处于起步阶段,我仍在制定流程并学习数据模型。 我将随时清理代码。 这是一个应用程序监视应用程序。 我正在尝试构建一个...
第3章被测应用程序的安装部署 第4章安装Jmeter&准备和运行压测脚本 第5章Grafana展示图介绍 第6章对tomcat加压 第7章链路监控工具介绍及安装部署和使用 第8章Grafana实时监控jmeter执行过程中产生的数据 第9章自定义...
OpenTSDB可以从大规模的集群(包括集群中的网络设备、操作系统、应用程序)中获取相应的metrics并进行存储、索引以及服务,从而使得 这些数据更容易让人理解,如web化,图形化等。 对于运维工程师而言,OpenTSDB...
一组用于提高应用程序性能的工具。 工具 —它是用于性能监控和性能分析的工具(也是console.time最佳替代品)。 —一种用于在单个帧(不仅是单个帧)的限制内进行负载平衡的工具。 —用户计时polyfill。 最快的...
CodeSplinta 用于跟踪前端可观察性/检测数据并监控第三方 Web 应用程序的安全性和性能方面的 JS 库。
监控应用程序 性能 降低批处理的时间 设置合理的批处理间隔 内存 容错语义 迁移指南(从 0.9.1 或者更低版本至 1.x 版本) 快速跳转 Kafka 集成指南 DataFrames,Datasets 和 SQL Spark SQL 概述 SQL ...
Grafana Kubernetes应用程序可让您监控Kubernetes集群的性能。 它包括4个仪表板,分别是Cluster,Node,Pod / Container和Deployment。 它还带有收集器,该收集器已部署到您的群集以收集运行状况指标。 收集的指标...
2.Client Library: 客户端库,检测应用程序代码,当Prometheus抓取实例的HTTP端点时,客户端库会将所有跟踪的metrics指标的当前状态发送到prometheus server端。 3.Exporters: prometheus支持多种exporter,通过...
InfluxDB 旨在用作涉及大量时间戳数据的任何用例的后备存储,包括 DevOps 监控、应用程序指标、物联网传感器数据和实时分析。 特点: 专门为时间序列数据编写的自定义高性能数据存储。TSM 引擎允许高速摄取和数据...
:采用内存占用的方式,整个生命周期只产生极少的临时对象,不影响应用程序的GC 高实时:支持秒级统计,最低统计粒度为1秒,并且是全量统计,不丢失任何一次记录 文件 监控指标 MyPerf4J为每个应用收集数十个监控...
该模块监控OpenMRS并传输特定的系统指示器,可能使用在肯尼亚的OpenMRS网络实现中开发的性能和利用监视程序框架。指标的扩展可能包括系统指示符(CPU负载等)和应用级别指示符(开放的图表等),以及进一步发展这些...
该模块监控OpenMRS并传输特定的系统指标,可能使用为肯尼亚的OpenMRS网络实施而开发的性能和利用率监控程序框架。指标的扩展可以包括系统指标(CPU负载等)和应用级指标(已打开图表的数量等),以及这些指标的可视...
它还使检查应用程序的生命周期和错误日志变得更加容易。 要求 Grafana> 5.0.0 Prometheus +节点导出器+ kube-state-metrics Grafana-Piechart-panel 产品特点 该插件包含三个主要信息页面,其中包含有关...
记录应用程序指标的开源和跨平台.NET库AppMetrics857 App Metrics是一个开源和跨平台的.NET库,用于在应用程序中记录和报告指标,并报告其健康状况。 开源的移动分析应用Countly572 Countly 是一...
API /网站正常运行时间和性能监控平台。 也可以看看: 指数 依存关系 创建一个新的虚拟环境并通过pip安装依赖项: virtualenv .venv source .venv/bin/activate pip install -r pinglist/requirements.txt 设置...
使用React和Material-UI的仪表板Web应用程序,以及 /metrics用于Prometheus抓取的Web端点 在Raspberry Pi的单个端口(默认为8080)上提供服务。 安装 要求 浓缩咖啡机,例如Rancilio Silvia Raspberry Pi4。在...
描述AppSignal gem从Ruby应用程序收集异常和性能数据,并将其发送到进行分析。 当发生错误或端点响应非常缓慢时得到警报。 AppSignal旨在为您的所有监控需求提供一站式解决方案。 使用我们的跟踪服务器中的并使用...