背景系统架构我们公司用Flink来做实时流处理,并使用CEP组件进行实时风控系统,对前置机日志进行异常监控。公司系统中共有7台Nginx前置机,其中4台属于A组,另3台属于B组,我们使用Filebeat采集了各台前置机日志,统一发送给Logstash进行解析,解析后的数据一面写入ES做成流量看板,另...
标签:flink
2 篇文章背景Flink支持多种部署模式,其中on Yarn模式是目前最成熟也是生产环境使用最多的部署方式。但在Flink on Yarn模式下,Flink任务会在不同的NodeManager节点上执行,所以Flink的执行日志会分散在不同机器上。我们通过FlinkWeb页面和YarnHistory页面是可以...