Kafka绑定多个ip实现内外网分流背景事情是这样的，我们在外地有一套资源池，我们需要通过kafka把数据拿到本地资源池来进行计算。资源池之间通过承载网传输，我们所谓的承载网是一种可以跨资源池的内网，这里为和资源池内部的网络作区分，我把承载网称为外网，资源池内部的网络成为外网。资源池的网络比较复杂，...

OpenSearch简介OpenSearch 是一种分布式，由社区驱动并取得 Apache 2.0 许可的 100% 开源搜索和分析套件，可用于一组广泛的使用案例，如实时应用程序监控、日志分析和网站搜索。OpenSearch 提供了一个高度可扩展的系统，通过集成的可视化工具 OpenSearch 控...

问题描述公司新搭了一套ES集群，4台机器，ES版本7.5.0，前期搭建十分顺利，但集群运行一段时间后会出现问题。问题具体体现为节点间通讯异常，集群会重新选主，但选主之后只能通过新的主节点进行集群操作，其他节点无法加入主节点。通过查询ES的日志，我们发现如下报错：[WARN ][o.e.c.s.Mas...

SQL获取本月、上月、下月的第一、最后一天日期以MySQL为例，其他数据库大同小异。前置知识获取当前日期select curdate();结果：curdate() |----------+2023-07-07|MySQL的内置函数，多数数据库都有。获取本月最后一天select last_day(cu...

ES集群扩容随着业务的不断发展，ES集群存储空间不足的问题时常出现，此时就需要对ES集群进行扩容。今天正好对一个已有的集群进行了水平扩容，在此记录一下扩容过程。集群信息ES版本：7.5.0集群名称：es_cluster_7.5.0iphostname角色134.100.100.101node-1ma...

ES安装问题汇总max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]问题描述ES启动报错。其原因是ES需要的的最小max file descriptors为6553...

前期准备Zookeeper安装安装包准备修改Zookeeper配置分发安装包为每个节点设置myid启动Zookeeper集群Kafka的安装安装包准备修改Kafka配置分发安装包为每个节点设置broker.id设置环境变量启动kafka集群Kafka基本命令topic相关命令创建topic查看当前集...

消息队列概述消息队列是什么？消息队列的优势常见消息队列Kafka概述Kafka的定义Kafka的基本角色Kafka原理Kafka的内部结构消息生产推送分区副本消息写入消息的写入流程消息的保存消息的消费高级API低级 API消费者组消费方式消息队列概述消息队列是什么？如图所示，我们将消息从客户端A发送...

Flume的定义大数据要做什么？为什么需要数据采集工具？Flume的定义Flume官网初体验Flume组成Flume的基础架构EventSourceSinkChannelFlume的拓扑结构串联复制和多路复用聚合Flume的内部原理重要组件Channel SelectorSink Processor...

背景我们使用Filebeat采集nginx日志，为了尽可能小的影响前置机性能，我们统一由一台Logstash进行日志的解析与ES索引写入。随着业务系统逐渐庞大，前置机日志也越来越多，为了方便开发与运维同事快速定位日志与各省项目组流量统计，我们决定将不同省份项目组前置机日志进行拆分，存储到不同的索引当...