Flume的定义大数据要做什么？为什么需要数据采集工具？Flume的定义Flume官网初体验Flume组成Flume的基础架构EventSourceSinkChannelFlume的拓扑结构串联复制和多路复用聚合Flume的内部原理重要组件Channel SelectorSink Processor...
标签：数据采集
2 篇文章背景我们使用Filebeat采集nginx日志，为了尽可能小的影响前置机性能，我们统一由一台Logstash进行日志的解析与ES索引写入。随着业务系统逐渐庞大，前置机日志也越来越多，为了方便开发与运维同事快速定位日志与各省项目组流量统计，我们决定将不同省份项目组前置机日志进行拆分，存储到不同的索引当...