流式计算系统之对比

数据库
本文介绍了业界主流的3个流式计算系统,希望从这些系统的设计中领悟到不同场景下流式计算所要解决的关键问题。

表1就上述3个流式系统做个分类比较,比较项基于DEBS2011会议上IFPSurvey中涉及的各种Models。Processing Model描述流元组进行计算时的选择策略、消费策略及负载降级处理。Interaction Model描述输入组件和计算系统、计算系统内部及计算系统和输出组件的交互方式。Time Model描述事件流是否按照时间约束。Rules Model描述流式计算规则是显示还是隐式。Data Model描述流中的数据组成、格式等。Function Model描述流式计算系统的功能模型。Language Model描述语言层面的各种算子。

表1 3种流式系统的模型对比

小结

本文介绍了业界主流的3个流式计算系统,希望从这些系统的设计中领悟到不同场景下流式计算所要解决的关键问题。

Yahoo! S4的***版本是Alpha version v0.3.0,动态负载均衡和在线服务迁移等重要功能都尚未实现,不过其代表性的3个特点值得学习,Actor模式、非中心化的对称结构及可插入式的架构。

StreamBase是有着功能强大的IDE并且支持控件式的方法来搭建应用程序,同时还提供了高级语言来搭建应用程序的方法。由于是商业产品,其用户接口的精彩设计值得借鉴,同时其可组合的HA方案也是亮点之一。

Borealis是学术界研究的重要产出,它对新一代的流式系统涉及的诸多方面,如系数据模型、负载管理、高可用性、可扩展性都作了全面和翔实的研究,一方面系统变得强大、先进,另一方面使得系统也变得臃肿、复杂。这套系统的许多策略都值得我们学习,可以应用于不同的流式计算场景。

【编辑推荐】

责任编辑:艾婧 来源: 程序员
相关推荐

2011-10-18 16:03:57

StreamBase分布式流式

2011-10-18 16:53:13

Borealis分布式流式

2011-10-18 14:57:06

S4分布式流式

2019-04-04 09:19:08

日志京东流式计算

2023-02-07 09:37:08

流计算

2021-06-30 07:19:35

双向流式RPCgRPC

2011-12-30 13:50:21

流式计算Hadoop

2023-11-14 07:21:44

大数据流式图计算

2010-06-08 11:15:43

OpenSUSE Ub

2011-10-19 17:40:23

流式计算

2012-09-20 15:09:57

2021-01-22 09:16:53

云计算边缘计算云应用

2021-01-12 10:00:34

流式输出数据

2016-08-05 14:23:15

系统

2023-07-19 08:00:00

Raft分布式系统

2011-08-19 09:21:42

2010-01-07 09:48:11

2024-02-04 16:22:13

Python流式输出开发

2023-08-18 09:29:59

Java数据流

2012-09-03 09:07:02

云计算云平台
点赞
收藏

51CTO技术栈公众号