流式处理,为什么Flink比Spark Streaming好?

news/2024/12/24 2:52:17 标签: flink, spark, 大数据
1 、反压机制
Flink 在数据传输过程中使用了分布式阻塞队列,一个阻塞队列中,当队列满了以后发送者会被天然阻塞住,这种阻塞功能相当于给这个阻塞队列提供了反压的能力。
Spark Streaming 为了实现反压这个功能,在原来的架构基础上构造了一个 速率控制器 ,这个 速率控制器” 会根据几个属性,如任务的结束时间、处理时长、处理消息的条数等计算一个速率。在实现控制数据的接收速率中用到了一个经典的算法,即“PID 算法
2 、延迟方面
Spark Streaming 是秒级别的
Structured Streaming 是毫秒级别的
Flink 是亚秒级别的
3 、状态存储方面
Spark 的状态管理目前做的比较简单 , 只有两个对应的算子( UpdateStateByKey mapWithState )。
Flink 提供文件、内存、 RocksDB 三种状态存储,五种类型的状态,( ValueState ListState
ReducingState AggregatingState FoldingState MapState )。
4 、灵活的窗口
Spark 只能根据处理时间窗口批量处理。
Flink 可以基于处理时间,数据时间,没有记录等的窗口。
5 、实时方面
Flink 是真正的实时计算,在状态数据和 Checkpoint 容错上做的比较好,能够做到 exactly once

http://www.niftyadmin.cn/n/5797239.html

相关文章

从零玩转CanMV-K230(4)-小核Linux驱动开发参考

前言 K230 芯片是一款基于 RISC-V 架构的端侧 AIoT 芯片,包含两个核心: CPU 1: RISC-V 处理器,1.6GHz,32KB I-cache, 32KB D-cache, 256KB L2 Cache,128bit RVV 1.0扩展 CPU 0: RISC-V 处理器,0.8GHz&am…

《深入浅出 Servlet:Java Web 开发的基石》(二)

ServletConfig(熟练) ServletConfig对象对应web.xml文件中的<servlet>元素。例如你想获取当前Servlet在web.xml文件中的配置名&#xff0c;那么可以使用servletConfig.getServletName()方法获取&#xff01; 你不能自己去创建ServletConfig对象&#xff0c;Servlet的in…

使用Docker启用MySQL8.0.11

目录 一、Docker减小镜像大小的方式 1、基础镜像选择 2、减少镜像层数 3、清理无用文件和缓存 4、优化文件复制&#xff08;COPY和ADD指令&#xff09; 二、Docker镜像多阶段构建 1、什么是dockers镜像多阶段构建 1.1 概念介绍 1.2 构建过程和优势 2、怎样在Dockerfil…

播放端标注叠加方案

方案要求 标注信息能够随着视频数据一起传输&#xff0c;混合在视频数据中数据在解码前&#xff0c;就可以从视频数据中解析出来 传输协议 目前&#xff0c;主流摄像头的数据都是通过RTSP协议进行协商&#xff0c;然后通过RTP传输数据&#xff0c;使用RTCP进行流控。 应用层…

Java中使用四叶天动态代理IP构建ip代理池,实现httpClient和Jsoup代理ip爬虫

在本次爬虫项目中&#xff0c;关于应用IP代理池方面&#xff0c;具体完成以下功能&#xff1a; 从指定API地址提取IP到ip池中&#xff08;一次提取的IP数量可以自定义更改&#xff09; 每次开始爬虫前&#xff08;多条爬虫线程并发执行&#xff09;&#xff0c;从ip池中获取一…

深度学习从入门到精通——图像分割实战DeeplabV3

DeeplabV3算法 参数配置关于数据集的配置训练集参数 数据预处理模块DataSet构建模块测试一下数据集去正则化模型加载模块DeepLABV3 参数配置 关于数据集的配置 parser argparse.ArgumentParser()# Datset Optionsparser.add_argument("--data_root", typestr, defa…

【Java基础面试题029】Java中的hashCode和equals方法之间有什么关系?

回答重点 在Java中&#xff0c;hashCode()和equals方法的关系主要体现在集合类&#xff08;如HashMap、HashSet&#xff09;中。 他俩决定了对象的逻辑相等性和哈希存储方式 equals()方法&#xff1a; 用于判断两个对象是否相等&#xff0c;默认实现是使用比较对象的内存地…

文章发稿平台哪个好用?哪个类型的媒体平台比较好过稿?

在做软文推广的过程中&#xff0c;被拒稿是个常见但又让人头疼的问题。尤其在推广节奏比较紧张的时候&#xff0c;拒稿会导致整个进度被持续拖延&#xff0c;在企业公关、新品推广等环节中会产生较为明显的负面影响。 文章发稿平台哪个好用&#xff1f;哪个类型的文章发稿平台比…