ElasticSearch性能优化主要分为4个方面的优化。
一、服务器部署
1、增加1-2台服务器,用于负载均衡节点elasticSearch的配置文件中有2个参数:node.master和node.data。这两个参数搭配使用时,能够帮助提供服务器性能。
node.master: false
node.data: true
该node服务器只作为一个数据节点,只用于存储索引数据。使该node服务器功能 单一,只用于数据存储和数据查询,降低其资源消耗率。
node.master: true
node.data: false
该node服务器只作为一个主节点,但不存储任何索引数据。该node服务器将使用
自身空闲的资源,来协调各种创建索引请求或者查询请求,讲这些请求合理分发到相关 的node服务器上。
node.master: false
node.data: false
该node服务器即不会被选作主节点,也不会存储任何索引数据。
该服务器主要用 于查询负载均衡。在查询的时候,通常会涉及到从多个node服务器上查询数据,并请求分发到多个指定的node服务器,并对各个node服务器返回的结果进行一个汇总处理, 最终返回给客户端。
注:服务器充足情况下可以根据上述配置
2、在生产环境尽量关闭data节点服务器中的http功能,同时也不要安装head, bigdesk, marvel等监控 插件,这样保证data节点服务器只需处理创建/更新/删除/查询索引数据等操作。http功能可以在非数据节点服务器上开启,上述相关的监控插件也安装到这些服 务器上,用于监控ElasticSearch集群状态等数据信息。这样做一来出于数据安全考虑,二来出于服务性能考虑。
参数这样设置:http.enabled: false
3、一台服务器上最好只部署一个Node,一台物理服务器上可以启动多个Node服务器节点(通过设置不同的启动port), 但一台服务器上的CPU,内存,硬盘等资源毕竟有限,从服务器性能考虑,在生产环境下不建议一台 服务器上启动多个node节点。
二、服务器配置
1.配置索引线程池的大小ElastiSearch服务器有多个线程池大小配置。主要有:index,search,suggest,get,bulk,percolate,snapshot,snapshot_data,warmer,refresh。
在此主要针对index和search进行一个配置调整。
index:创建/更新/删除索引数据。
Search:主要针对用户的各种搜索操作。
具体配置如下:
threadpool:
index:
type: fixed
size: 24(逻辑核心数*3)
queue_ size: 1000
search:
type: fixed
size: 24(逻辑核心数*3)
queue_ size: 1000
2.确定分片(shard)的数量和副本(replica)的数量 ElasticSearch在创建索引数据时,最好指定相关的shards数量和replicas,否则会使用服务器中的默认配置参数shards=5,replicas=1。 因为这两个属性的设置直接影响集群中索引和搜索操作的执行。假设你有足够的机器来持有碎片和副本,那么可以按如下规则设置这两个值:
1) 拥有更多的碎片可以提升索引执行能力,并允许通过机器分发一个大型的索引;
2) 拥有更多的副本能够提升搜索执行能力以及集群能力。对于一个索引来说,number_of_shards只能设置一次,而number_of_replicas可以使用索引更新设置API在任何时候被增加或者减少。这两个配置参数在配置文件的配置如下:
index.number_of_shards: 5(第一次分片的数值)
index.number_of_replicas: 1(可变)
3.elasticsearch.yml log日志其具体配置如下:
index.search.slowlog.level: INFO
index.search.slowlog.threshold.query.warn: 5s
index.search.slowlog.threshold.query.info: 2s
index.search.slowlog.threshold.query.debug: 500s
index.search.slowlog.threshold.query.trace: 500ms
index.search.slowlog.threshold.fetch.warn: 5s
index.search.slowlog.threshold.fetch.info: 2s
index.search.slowlog.threshold.fetch.debug: 500ms
index.search.slowlog.threshold.fetch.trace: 200ms
http://sempter.blog.51cto.com/4340646/1664680
相关推荐
Elasticsearch(后文简称ES)的基础是Lucene,所有的索引和文档数据是存储在本地的磁盘中,具体的路径可在ES的配置文件../config/elasticsearch.yml中配置,如下:磁盘涉及到IO的读写速度问题,因此如果条件允许的...
自Elasticsearch 5.x 引入Painless,使得Elasticsearch拥有了安全、可靠、高性能脚本的解决方案。Painless是Elastic开发并做了专门的优化,相较之前的脚本更快、安全、易使用、可靠。 Painless脚本的目标是使编写...
(1)最全面的Elasticsearch运维、管理、调优、故障处理的知识体系:企业级监控体系的搭建,企业级集群部署,集群日常管理策略,集群版本升级方案,集群基准压测方案,集群数据的备份和恢复,系统核心配置参数,性能...
Elasticsearch是一个强大的开源搜索引擎,它为数据的存储、搜索和分析提供了高效、可扩展的解决方案。然而,尽管Elasticsearch本身具有许多优势,但在实际使用过程中,用户可能会遇到各种问题和挑战。为了帮助用户...
Elasticsearch严重依赖于文件系统缓存,以便快速进行搜索。通常应该确保至少有一半的可用内存进入文件系统缓存,以便Elasticsearch可以将索引的热区域保留在物理内存中。 如果搜索受I/O限制,应该调查为文件系统缓存...
第一部分“Logstash”介绍Logstash的安装与配置、场景示例、性能与测试、扩展方案、源码解析、插件开发等,第二部分“Elasticsearch”介绍Elasticsearch的架构原理、数据接口用例、性能优化、测试和扩展方案、映射与...
第壹部分“Logstash”介绍Logstash的安装与配置、场景示例、性能与测试、扩展方案、源码解析、插件开发等,第二部分“Elasticsearch”介绍Elasticsearch的架构原理、数据接口用例、性能优化、测试和扩展方案、映射与...
第二部分“Elasticsearch”介绍Elasticsearch的架构原理、数据接口用例、性能优化、测试和扩展方案、映射与模板的定制、监控方案等;第三部分“Kibana”介绍Kibana 3和Kibana 4的特点对比,并分别讲解了Kibana 3和...
第一部分“Logstash”介绍Logstash的安装与配置、场景示例、性能与测试、扩展方案、源码解析、插件开发等,第二部分“Elasticsearch”介绍Elasticsearch的架构原理、数据接口用例、性能优化、测试和扩展方案、映射与...
第一部分“Logstash”介绍Logstash的安装与配置、场景示例、性能与测试、扩展方案、源码解析、插件开发等,第二部分“Elasticsearch”介绍Elasticsearch的架构原理、数据接口用例、性能优化、测试和扩展方案、映射与...
自1998年首次发布以来,MySQL以其卓越的性能、可靠性和可扩展性,成为全球范围内Web应用程序、企业级解决方案以及其他各种数据处理场景的首选数据库平台之一。 以下是对MySQL数据库的详细介绍: 核心特性与优势 ...
elk日志方案难点总计以及平台参数性能优化设置。包括 kafaka参数性能调优、es数据库参数优化、linux参数优化
Lucene是一个高性能、可伸缩的信息搜索(IR)库。它可以为你的应用程序添加索引和搜索能力。Lucene是用java实现的、成熟的开源项目,是著名的Apache Jakarta大家庭的一员,并且基于Apache软件许可 [ASF, License]。...
根据数据类型和业务需求,选择合适的数据存储格式和数据库类型,如Hadoop、HBase、Elasticsearch等。同时,确保数据存储的安全性和可靠性,包括数据加密、备份恢复等措施。 数据处理与分析:利用大数据处理技术,对...
整理大牛分享文档如下,一线开发架构,技术...阿里云Elasticsearch架构解析与性能优化实践 Go在区块链的发展和演进 Aliyun ApasaDB Go 微服务架构 罗辑思维Go语言微服务改造实践 Golang打造下一代互联网-IPFS全解析等
SpringBoot项目分布式架构网上商城是一个高度可扩展、高性能的电子商务平台,它利用分布式系统的原理和技术来处理...系统的设计理念注重用户体验、性能优化和安全性,力求为所有用户提供一个高效、可靠的购物解决方案。
1. Vue3: Vue.js 的最新主要版本,引入了许多新特性如Composition API、Teleport、Fragments等,为开发者提供了更强大且灵活的组件化编程模型,以提升开发效率并优化应用性能。2. Vite: 由Vue.js作者尤雨溪推出的...
吡啶 网站 来源 聚酰亚胺 conda CI / CD 文件 文件状态 推特 裸骨Python库质量的多样性优化。... 仅关注这一常见问题,就可以使我们优化库的性能和使用简便性。 对于离散域上的QD应用,我们建议使用qdp