message:Could not connect to meta store using any of the URIs provided. Most rec...
2017-03-14 09:52 回复了该问题SparkStreaming中使用SparkSql,将RDD转换为DataFrame,利用其上的高层API将结果保存到Mysql,指定SaveMode是Over...
2017-03-08 13:46 回复了该问题xxx.map(data=>(a,(a,b,c)))
2017-03-06 10:41 回复了该问题日期函数UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[, string form...
2017-03-02 10:44 回复了该问题在Spark里面要根据你的作业使用资源的情况,合理的配置资源才行。目前Spark的资源配置还没有这么智能,需要根据经验来合理的进行配置,当然你也可编写程序,根据...
2017-03-01 14:05 回复了该问题报错很明显,没有将jar包含,应该有个API设置jar包,好像是setJar,没有jar包怎么能执行喃?具体怎么设置自行百度吧,智能帮你到这里了
2017-03-01 10:29 回复了该问题1.检查你虚拟机的 防火墙,关闭防火墙 2.看虚拟机和你的电脑在不在同一个网段 3.建议使用桥接模式 4.建议配置static IP,防止 重新启动IP发生变化...
2017-03-01 10:25 回复了该问题你是查hive表?查hive表,那首先你要在你的$SPARK_HOME/conf目录下加入你的hive的hive-site.xml配置文件。然后初始化Spark...
2017-03-01 08:11 回复了该问题当然可以,你本地作为Driver节点,任务分发到集群上去执行。程序中指定master就可以了
2017-02-28 08:42 回复了该问题写个脚本判断是否有这个进程,如果没有重新启动~。当然如果你的SparkStreaming监控HDFS目录出现异常,说明的你程序本身的稳定性不好,最好做try c...
2017-02-28 08:40 回复了该问题直接看Spark官网吧,有Demo,自己动手做一下。
2017-02-23 11:34 回复了该问题并集:RDD1.union(RDD2).distinct 差集:RDD1.intersection(RDD2)
2017-02-23 10:59 回复了该问题