Bob

同程旅游大数据+BI 架构师

始于: 2015-09-29

江苏省 苏州市

发私信

250

总声望

142

次被推荐

0

粉丝

他的回答
排序:

0
投票

搭建greenplum环境

[url]https://pivotal.io/上面有详细的安装文档。[/url] 我们也是参考这个完成的

2016-11-15 13:14 回复了该问题
0
投票

请问 mapper 方法中定义的成员变量,当mapper任务在分配到不同机器上运行时,这个成员变量是否是公用的

在mapper类中的static变量是可在整个mapper周期内被获取

2016-11-15 13:11 回复了该问题
0
投票

请教下 有没有用logstash 把kafka日志同步到hdfs的

logstash有kafka的插件可以使用: input { kafka { zk_connect => "localhost:2181&qu...

2016-11-15 13:08 回复了该问题
0
投票

各位好,hbase的排序是按rowkey的字典顺序排,是否可以自定义新的排序规则,多谢?

这个是hbase的底层实现,一般rowkey是不建议修改排序规则

2016-11-15 13:06 回复了该问题
0
投票

问下,我想用mapreduce处理数据,处理的方式是根据一堆xml文件定义到了。这样是不是实现不了?

mapreduce可以处理xml文件试试使用XMLInputFormat 这个

2016-11-15 12:59 回复了该问题
0
投票

请问hortonworks 厂商的 hadoop(hdp)源码包从哪儿下载?

官方源代码地址:https://github.com/hortonworks

2016-11-01 13:09 回复了该问题
0
投票

问个问题 hive里的按照month分区建了一张表, 然后load表 针对同一个txt文件 按照month=9 和 month=10 load了 两次 那这两个表里的数据一样吗?

如果你的这个txt文件在month=9 和month=10 这两个分区目录中都存在的话,则会load两次,且数据是一致的。

2016-11-01 13:07 回复了该问题
1
投票

大神们,hive导数据到oracle中,hive中为string,oracle为date类型的如何转换啊

使用hive里面自带的函数,例如TO_DATE等

2016-11-01 13:06 回复了该问题
0
投票

从MySQL导入数据到hive,显示成功了,为什么在hive里面没有数据

首先检查下对应的HDFS目录中的文本是否有值。 其次检查下你的hive表是否映射到正确的hdfs目录,row format是否正确

2016-11-01 13:05 回复了该问题
0
投票

hive上取两时间差用什么函数?datediff返回的天,我想返回 秒

使用unix_timestamp这个函数 例如获取秒 select (unix_timestamp(a字段)-unix_timestamp(b字段))/60

2016-11-01 13:04 回复了该问题
0
投票

sqoop job -exec job1提示输入密码,能否在命令行直接将密码补全

试试 --password-file 这个参数

2016-11-01 13:02 回复了该问题
0
投票

请问这是什么问题啊,新手

这个是运行sh文件后,正常的日志信息输出 starting datanode logging to /usr/hadoop..... 这表示: 启动 datan...

2016-10-21 12:50 回复了该问题
0
投票

eclipse报这个错是什么原因呢

社区有这个博客介绍: https://ask.hellobi.com/blog/jack/5063

2016-10-21 12:48 回复了该问题
0
投票

帮忙看一下

检查文件的权限,最好进行权限的修改,示例: chmod 600 ~/.ssh/authorized_keys   .ssh的父目录权限最好要要设置为755

2016-10-21 12:46 回复了该问题
0
投票

麻烦问下高手 利用clauder manager启动spark后执行以下语句报错

出现这个问题可能是内存不足了,建议使用 --driver-memory --executor-memory 试试内存的设置

2016-10-21 12:42 回复了该问题

改版

反馈