Logo

分类:大数据

30 篇文章

PostgreSQL查询性能优化

PostgreSQL查询性能优化索引优化1. 创建合适的B-Tree索引CREATE INDEX idx_users_email ON users (email);原因:B-Tree适合等值查询(WHERE column = value)和范围查询(WHERE column > value),...

PostgreSQL分区表设计

PostgreSQL分区表设计分区表概念基础概念分区表是将一个大表逻辑上划分为多个较小、更易管理的部分(称为分区)的技术,每个分区可以独立存储和管理。主表/父表/Master Table 该表是创建子表的模板。它是一个正常的普通表,但正常情况下它并不储存任何数据。子表/分区表/Child Table...

Kafka绑定多个ip实现内外网分流

Kafka绑定多个ip实现内外网分流背景事情是这样的,我们在外地有一套资源池,我们需要通过kafka把数据拿到本地资源池来进行计算。资源池之间通过承载网传输,我们所谓的承载网是一种可以跨资源池的内网,这里为和资源池内部的网络作区分,我把承载网称为外网,资源池内部的网络成为外网。资源池的网络比较复杂,...

ES到OpenSearch数据迁移方案

OpenSearch简介OpenSearch 是一种分布式,由社区驱动并取得 Apache 2.0 许可的 100% 开源搜索和分析套件,可用于一组广泛的使用案例,如实时应用程序监控、日志分析和网站搜索。OpenSearch 提供了一个高度可扩展的系统,通过集成的可视化工具 OpenSearch 控...

ES踩坑记录之集群间通信异常造成节点无法加入

问题描述公司新搭了一套ES集群,4台机器,ES版本7.5.0,前期搭建十分顺利,但集群运行一段时间后会出现问题。问题具体体现为节点间通讯异常,集群会重新选主,但选主之后只能通过新的主节点进行集群操作,其他节点无法加入主节点。通过查询ES的日志,我们发现如下报错:[WARN ][o.e.c.s.Mas...

SQL获取本月、上月、下月的第一、最后一天日期

SQL获取本月、上月、下月的第一、最后一天日期以MySQL为例,其他数据库大同小异。前置知识获取当前日期select curdate();结果:curdate() |----------+2023-07-07|MySQL的内置函数,多数数据库都有。获取本月最后一天select last_day(cu...

ES集群扩容

ES集群扩容随着业务的不断发展,ES集群存储空间不足的问题时常出现,此时就需要对ES集群进行扩容。今天正好对一个已有的集群进行了水平扩容,在此记录一下扩容过程。集群信息ES版本:7.5.0集群名称:es_cluster_7.5.0iphostname角色134.100.100.101node-1ma...

ES安装问题汇总【持续更新】

ES安装问题汇总max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]问题描述ES启动报错。其原因是ES需要的的最小max file descriptors为6553...

Kafka安装与常用指令

前期准备Zookeeper安装安装包准备修改Zookeeper配置分发安装包为每个节点设置myid启动Zookeeper集群Kafka的安装安装包准备修改Kafka配置分发安装包为每个节点设置broker.id设置环境变量启动kafka集群Kafka基本命令topic相关命令创建topic查看当前集...

Kafka概述与原理初探

消息队列概述消息队列是什么?消息队列的优势常见消息队列Kafka概述Kafka的定义Kafka的基本角色Kafka原理Kafka的内部结构消息生产推送分区副本消息写入消息的写入流程消息的保存消息的消费高级API低级 API消费者组消费方式消息队列概述消息队列是什么?如图所示,我们将消息从客户端A发送...