Logo

标签:es

13 篇文章

ES到OpenSearch数据迁移方案

OpenSearch简介OpenSearch 是一种分布式,由社区驱动并取得 Apache 2.0 许可的 100% 开源搜索和分析套件,可用于一组广泛的使用案例,如实时应用程序监控、日志分析和网站搜索。OpenSearch 提供了一个高度可扩展的系统,通过集成的可视化工具 OpenSearch 控...

ES踩坑记录之集群间通信异常造成节点无法加入

问题描述公司新搭了一套ES集群,4台机器,ES版本7.5.0,前期搭建十分顺利,但集群运行一段时间后会出现问题。问题具体体现为节点间通讯异常,集群会重新选主,但选主之后只能通过新的主节点进行集群操作,其他节点无法加入主节点。通过查询ES的日志,我们发现如下报错:[WARN ][o.e.c.s.Mas...

ES集群扩容

ES集群扩容随着业务的不断发展,ES集群存储空间不足的问题时常出现,此时就需要对ES集群进行扩容。今天正好对一个已有的集群进行了水平扩容,在此记录一下扩容过程。集群信息ES版本:7.5.0集群名称:es_cluster_7.5.0iphostname角色134.100.100.101node-1ma...

ES安装问题汇总【持续更新】

ES安装问题汇总max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]问题描述ES启动报错。其原因是ES需要的的最小max file descriptors为6553...

ES更改索引字段数据类型

背景我们都知道,ES是可以自动创建索引的,如果没有指定字段映射,ES会根据写入的数据来对字段进行动态映射的。假设我们目前有一个索引index-1,一个字段应该为number类型,但索引创建时的数据可能存在脏数据,该字段被映射为了text类型,导致整个索引创建时就将该字段设置为了text类型。我们知道...

ES踩坑记录之UNASSIGNED分片无法恢复

问题背景换节点我们线上有一套ES集群,三台机器,共运行了6个节点。一直在线上跑了几个月也一直没出什么问题。然而好巧不巧,就在昨天,集群中的3号节点磁盘出现故障,导致机器直接瘫痪。本来大家觉得问题不大,ES不是有容灾吗,换个新节点上去不就能自动分配分片了。unassigned当我们信心满满换了个新节点...

ES采坑记录之maximum_shards_open

问题背景我们使用ELK体系来采集与存储日志,其中我们使用Logstash接收kafka传过来的数据,按照每天一个索引写入ES。这一套体系已经跑了小半年了,一直挺稳定的,然而今天早上8点开始,突然发现没有新数据写入了。Elasticsearch版本:7.9排查过程其实之前我们也遇到过ES数据丢失的问题...

ES中的倒排索引机制

正排索引与倒排索引正排索引与倒排索引都是搜索系统中的数据结构。要解释什么是倒排索引之前,首先我们要了解什么是正排索引。所谓正排索引,就是以文本为key,以分词的列表为value,通过检索文本信息来找到对应的分词列表。然而在实际进行搜索时所需要的结果恰恰与之相反,即以分词列表为key,检索包含该词条的...

ES索引的分区与副本

概念分区与副本都是ES索引的重要机制,那么二者具体有何不同呢?分区(shard)ES是一个分布式系统,ES中的索引可以被分解为多个较小的分片,将这些分片分配到不同的节点上。当查询该索引时,ES会将查询发送给每个相关的分片,再将查询结果进行合并。分区的目的是为了避免单分区时数据量过大,对节点的CPU、...

ES集群状态维护

ES健康查询查看集群健康/_cluster/health查看索引健康/_cluster/health?pretty&level=indices查看分片监健康/_cluster/health?pretty&level=shards查看恢复情况/_recovery?pretty集群健康/...