Spark

  Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算， 拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS， 因此Spark能更 好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法

4
投票
13
已解决
22294
浏览

超级菜鸟怎么学习数据分析？数据挖掘、工具、技术、所需知识点等？

2018-01-08 14:44 提问
0
投票
1
回答
1042
浏览

大数据的流式数据技术应用有哪些？

2017-01-05 09:01 提问
0
投票
0
回答
1567
浏览

spark 总是 lost task 和 lost executor，，内存调大也没用......有解决方案么.....

2017-01-05 18:39 提问
0
投票
0
回答
1255
浏览

大神们，请教一个问题，能不能在spark streaming处理的同时，让spark从cassandra中读取数据，并合并数据

2017-01-04 15:34 提问
0
投票
1
回答
972
浏览

scala如何将key相同，对应的内容不同的所有内容存到一起

2016-12-22 10:02 提问
0
投票
0
回答
1007
浏览

recurrent和recuror和recurrence. 有啥区别?

2017-01-03 08:58 提问
0
投票
4
回答
1903
浏览

如何利用spark、hadoop等技术实现关系型数据库的数据快速汇总？

2016-12-27 09:55 提问
0
投票
0
回答
996
浏览

在Intellij IDEA中调试spark中的SparkPI报错

2016-12-29 17:38 提问
0
投票
0
回答
1789
浏览

spark邮件怎么快速让全部的未读邮件变成已读？

2016-12-28 09:30 提问
0
投票
1
回答
1259
浏览

各位，spark sql 查询hive 外表出现出现这个错误，有哪位大神知道吗

2016-12-20 11:06 提问
0
投票
2
已解决
2289
浏览

我想请问一下 hive on spark 和sparkSQL on hive 那个更好 或者就是一回事呢

2016-12-22 09:12 提问
0
投票
0
回答
1290
浏览

请教个问题：spark streaming在计算时会出现数据重复的问题（也有人把这种情况叫”重复输出”），现在有办法解决吗？

2016-11-29 16:28 提问
0
投票
2
回答
1091
浏览

各位大神问一下spark-submit提交程序出现错误，求指导

2016-11-22 09:41 提问
0
投票
0
回答
1092
浏览

大家好，我是一个初学者，有个问题想请教一下：用spark统计一个文本，怎么样得到每一行的行号，比如读取一个文本，得到的key是行号，value是该行的内容。

2016-11-18 17:33 提问
0
投票
0
回答
1824
浏览

询问一下spark streaming的问题，使用textfilestream 读不进去文件

2016-10-24 10:03 提问
0
投票
2
已解决
1226
浏览

求问个问题 大家部署spark集群的时候是和hadoop用的相同的机器 还是 分离开的

2016-10-13 09:36 提问

相关话题

887 人关注

最佳回复者

改版

反馈