Spark

  Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算， 拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS， 因此Spark能更 好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法

4
投票
13
已解决
21787
浏览

超级菜鸟怎么学习数据分析？数据挖掘、工具、技术、所需知识点等？

2018-01-08 14:44 提问
0
投票
0
回答
2592
浏览

HDP中Metrics Collector服务启动后立即终止

2020-12-16 11:30 提问
0
投票
2
已解决
3137
浏览

spark sql 能建索引吗？

2016-06-12 16:18 提问
0
投票
2
已解决
6224
浏览

spark collect()，当数据量比较大时，卡死怎么解决？

2016-03-24 14:09 提问
0
投票
2
已解决
4272
浏览

Hive初始化mysql不起作用

2018-05-18 21:29 提问
0
投票
4
已解决
10606
浏览

关于使用spark做olap靠谱么？有没有成熟案例？

2015-12-06 19:19 提问
0
投票
2
已解决
3228
浏览

请教一下大家：假设我有一个spark streaming提供实时求和计算服务，前端往作为数据源的kafka里推送了一条“3+2”，那么结果“5”如何返回给前端，大家都是怎么实现的？

2018-03-01 16:06 提问
0
投票
2
已解决
3536
浏览

spark从mysql读取数据，根据日期放在hive里面，产生了好多小文件，现在通过DataSet.coalesce()合并小文件，导致写入速度非常慢，各位大神有啥其他方法

2017-08-02 11:16 提问
0
投票
0
回答
2427
浏览

请教一下如何在anaconda-navigator上安装pyspark？

2018-01-09 16:59 提问
0
投票
2
已解决
3092
浏览

国内大多互联网公司的大数据工程师实习都是需要大数据项目经验，怎么样在自己研究方向不是数据科学和ml相关的情况下接触到hadoop，spark相关项目呢？

2017-03-03 17:44 提问
0
投票
1
已解决
2086
浏览

kylin 2.1 对应的spark版本啥多少的？

2017-10-18 09:59 提问
0
投票
0
回答
2217
浏览

请问spark history server配置的日志跟用log4j配置的日志有什么区别啊？

2017-10-19 09:32 提问
0
投票
1
回答
2385
浏览

请问 要用rhadoop，sparkR包，必须在linux环境下的R吗？

2017-06-30 10:23 提问
2
投票
1
已解决
2670
浏览

请问一下，你们做hadoop mr的时候是在本地开发还是在虚拟机上开发的？

2017-08-02 11:02 提问
0
投票
2
已解决
3506
浏览

像spark hadoop这些大数据相关的怎么自我学习，比如说集群 个人电脑条件也不满足 有没有什么云平台可以提供实验环境？

2017-08-09 09:50 提问
0
投票
1
回答
2533
浏览

谁有spark+kafka+flume日志系统的文档（需求分析、概要设计，详细设计等等）

2017-07-02 10:40 提问

相关话题

887 人关注

最佳回复者

改版

反馈