-
Spark SQL性能提升17.7倍是如何实现的?
在互联网运营商等大规模、超大规模用户中,Spark是最受欢迎的大数据系统,Spark对于内存依赖性很强,所以当负载提高时,硬件平台的内存挑战就会十分明显,浪潮为国内最大的语音识别服务提供商引入了Intel傲腾内存,经过整体优化测试,整体性能提高了17.7倍。
厂商动态 2019-11-13
-
优化 Apache Spark以提升工作负载吞吐量
Apache Spark是一种常见的数据处理引擎,用于对超大数据集进行高级分析。在当今涉及基于云的服务、物联网和机器学习的企业用例中,这类数据已经司空见惯。Spark 采用了一个通用的集群计算框架
技术 2019-05-29
-
Apache Spark 统一内存管理模型详解
本文将对 Spark 的内存管理模型进行分析,下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥,我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析。
技术 2018-08-10
-
使用Spark MLlib进行基于Jave的欺诈检测
了解如何使用Java和Spark MLlib开发一种算法,该算法能够根据700万条记录的数据集检测欺诈行为。
在这篇文章中,我们将使用Spark MLlib开发Java中的算法。完整的工作
资讯 2018-01-10
-
弄啥嘞?Spark将纳入机器学习与GPU
比加州大学伯克利分校AMP实验室所开源的Hadoop MapReduce通用并行框架Spark,在开源社区的贡献下,势头只增不减。近日,据外媒报道,Spark将纳入机器学习和GPU机制。
评论 2016-11-01
-
触控音乐 飞利浦运动精灵Spark III上市
飞利浦Spark 以时尚精巧走俏市场,受到广大音乐达人的热烈追捧。在2012新年之际,飞利浦又发布Spark III新款播放器,以更酷炫时尚的运动外形和优美灵动的旋律,将掀起新一轮运动音乐风潮。
资讯 2012-01-11
-
可爱又能打,AI驱动两用蓝牙音箱Spark GO全球热卖发售
2023年3月,来自加州的智能乐器设备厂商Positive Grid发布了旗下硬件产品——智能音箱家族Spark系列第三代产品:Spark GO 。
资讯 2023-04-26
-
深度:Hadoop对Spark五大维度正面比拼报告!
每年,市场上都会出现种种不同的数据管理规模、类型与速度表现的分布式系统。在这些系统中,Spark和hadoop是获得最大关注的两个。然而该怎么判断哪一款适合你?如果想批处理流量数据,并将其导入
评论 2018-06-01
-
未来大数据时代,Hadoop会被Spark取代?
由雅虎为工程师和数据科学家打造的Apache Hadoop曾因巨大的潜力而备受称赞,但如今它却受到了更快的产品的影响,而这些产品往往来自于它本身的生态系统——Spark就是其中之一。今年早些,H20.ai的创始人Sri Ambati对Datanami 曾说:“Spark将会使Hadoop处于绝地”。
评论 2017-11-23
-
Intel程浩:Spark SQL优化与硬件选型
多位技术专家,共同探讨Oracle、MySQL、NoSQL等领域的前瞻性热点话题与技术。今天下午,我们来到了“数据库性能优化”专场,Intel亚太研发中心Spark团队研发经理程浩进行了题为《Spark SQL优化与硬件选型》主题演讲。
资讯 2017-05-12