携程数据基础平台主要组件包括：HDFS 分布式存储集群，YARN 计算集群，Spark、Hive 计算引擎。数据基础平台 1.0 版本的架构从 2017 年开始逐步成型，2018 年至 2021 年数据基础团队基于 1.0 的架构做了性能优化和各类 Bug 修复，支撑集群数据和计算任务高速增长。

携程数据基础平台主要组件包括：HDFS 分布式存储集群，YARN 计算集群，Spark、Hive 计算引擎。数据基础平台 1.0 版本的架构从 2017 年开始逐步成型，2018 年至 2021 年数据基础团队基于 1.0 的架构做了性能优化和各类 Bug 修复，支撑集群数据和计算任务高速增长。

Riverrun，并实现 Flink 实时计算与 Spark 离线计算在 K8S 上的稳定混部，带来了可观的“降本增效”收益。

倍，从而显著降低成本。新版本还提供了更强的性能分析，并能更好地支持Apache Hudi和Iceberg等开放表格格式，使得对数据湖的访问更易于扩展，从而实现了Presto和Spark的分析提速。

近日，软件开发公司JetBrains宣布推出Big Data Tools大数据开发工具，即一款集成Spark 且支持编辑和运行 Zeppelin Notebooks 的 IntelliJ IDEA 插件，继续扩大其产品矩阵。

随着近几年业务量不断扩大，需要选择一个性能更强、功能更完善的流式引擎来逐步升级我们的流式服务。调研从2016年底开始，主要是从Flink、Heron、Spark streaming中作选择，最终，我们选择了Flink

大疆“御”Mavic Air发布于2018年1月。简单来说，它是一款体积介于“晓”Spark和“御”Mavic Pro之间的产品，以更小的尺寸提供了媲美Mavic Pro的性能，并且引入了高码率4K、后向感知、手势操作等新特性。官方定价4999元（全能套装6399元），目前提供白、黑、红共3种配色。

Spark作为大疆今年新推出的产品线，目的是为了弥补低端市场，提供多彩机身主打年轻用户群体。机身非常小巧，能够装进口袋里，在你的手中起飞。并且提供了多款配色供年轻人购买。但是两轴云台+不足二十分钟的

思科协作Cisco Spark Room Kit系列新产品实现了高度集成一体化，内置高清5K镜头、麦克风、高保真音响、无线及蓝牙，辅助以自动唤醒功能和全新的数字化影院视角，这款集一切于一身的新

处理大数据可能会遇到各种各样的问题，目前没有任何工具可以完美地处理这一切——即便是Spark。在今年的Bossie开源大数据工具中，你会发现最新最好的方法是利用大型集群进行索引、搜索、图形处理、流处理、结构化查询、分布式OLAP和机器学习，因为众多处理器和RAM可降低工作量级。