大数据之Spark性能调优实战分享 视频回放

2017年01月10日 20:30-21:30

Damon

盛大网络大数据工程师
免费
收藏 638 人浏览 扫一扫
分享
直播介绍
资料下载

大咖介绍

Damon

盛大网络大数据工程师
关注大数据基础架构建设、数据挖掘、机器学习、BI等领域。丰富的Hadoop开发及管理经验,熟悉Apache Hadoop平台及相关生态技术,包括MapReduce、HDFS、Spark、Strom、ZooKeeper、HBase、Hive、Flume、Sqoop、Mahout等技术的原理和实施。主导了数据仓库构建、ETL、用户行为分析、个性化挖掘等相关工作。  

主题介绍

       在大数据开发领域,不论是Hadoop、Storm 还是 Spark,我们都会面临着程序的各种性能问题。如资源无法最大化利用,并行度不够导致程序效率低下,参数配置不够合理等等。今天主要和大家分享下Spark在实际工作中踩过的性能方面的一些坑,期间会结合着和Hadoop做些对比,希望能给大家带来些许帮助。

 

分享内容:

1、Spark参数调优

2、Spark程序优化

3、Shuffle 优化

4、踩坑经验分享

 

 

 

 

 

 

 

 

 

未上传任何附件
推荐分享