被社区关注的Blink开源到底向上游贡献了什么?
发布时间:2019-02-01 12:43:28 所属栏目:Windows 来源:大沙
导读:副标题#e# 导读:如同我们去年 12 月在 Flink Forward China 峰会所约,阿里巴巴内部 Flink 版本 Blink 将于 2019 年 1 月底正式开源。今天,我们终于等到了这一刻。 阿里资深技术专家大沙,将为大家详细介绍本次开源的 Blink 主要功能和优化点,希望与业界
为了更好的支持批处理,以及解决阿里巴巴大规模生产场景中遇到的各种挑战,Blink 对 Runtime 的架构、效率、稳定性方面都做了大量改进。在架构方面,首先 Blink 引入了可插拔 Shuffle 架构,开发者可以根据不同的计算模型或者新硬件的需要实现不同的 Shuffle 策略进行适配。此外 Blink 还引入新的调度架构,容许开发者根据计算模型自身的特点定制不同调度器。为了优化性能,Blink 可以让算子更加灵活的链在一起,避免了不必要的数据传输开销。在 Pipeline Shuffle 模式中,使用了 ZeroCopy 减少了网络层内存消耗。在 BroadCast Shuffle 模式中,Blink 优化掉了大量的不必要的序列化和反序列化开销。 (编辑:三明站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
相关内容
- windows 7启动出现蓝屏STOP:0X0000007B的问题
- 请确认:Windows Workflow Foundation是否现在正在支持的马
- 数不清的Chrome插件 ,非常适合开发者的只有这几个!
- 如何在Linux中安装、配置和使用Fish Shell?
- Win10系统Bug多怎么办 恢复Win10系统Bug的绝招
- Linux中系统引导程序的有哪些强大的功能?
- Apache之道,开源可持续成功的秘籍
- 如何在Linux中列出可用的软件包组
- windows-server-2012-r2 – 当DC无法到达外部时间服务器时会
- windows-server-2008-r2 – 如何为在vSphere 5上运行的MS群
站长推荐