牟瑞

大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我!

始于: 2013-06-09

发私信

1967

总声望

308

次被推荐

16

粉丝

他的回答
排序:

0
投票

要做hadoop的大数据运算,只有20万的预算来买硬件,大家有啥好的方案推荐嘛?

多大的数据量存储?一年产生数据几百个G?SQLServer,Oracle,Mysql撑住亿级,不一定非要上Hadoop

2016-01-30 20:50 回复了该问题
0
投票

请教一个问题,当我上传一个文件到hdfs后,分成了很多blockid,我如何知道哪些blockid是属于同一个文件的?

fsck工具来检验HDFS中的文件是否正常可用。这个工具可以检测文件块是否在DataNode中丢失,是否低于或高于文件副本。 调用方式: 例如:Hadoop ...

2016-01-06 17:49 回复了该问题
0
投票

为什么hadoop安装前要disable ipv6,以及ssh localhost的作用是?

主要是因为hadoop的测试目前都是基于IPV4的,具体详细的内容可以参阅:[url=http://wiki.apache.org/hadoop/HadoopI...

2016-01-03 10:01 回复了该问题
1
投票

如何用 hadoop/hive 做日志分析系统?

日志数据一般都是非结构化的,方便各种分析应用的调用。不知道你们的日志是哪一类的数据?交易类的?还是服务器日志。 服务器日志推荐使用splunk或者ELK。had...

2016-01-02 10:56 回复了该问题
1
投票

Zookeeper和elasticsearch数据一致性问题?

我们的实际业务中一致性要求的不是特别高,所以没太关注这方面的内容,不过可以给你提供两个思路。 1.从源头上做数据直接覆盖,比如利用Hive的分区,对于过去一个小...

2016-01-02 10:50 回复了该问题
0
投票

为什么这么多企业都要转型大数据或上云平台?

针对这个问题,我写了一篇博客,你可以看看,个人浅见,勿喷哈~~ http://www.flybi.net/blog/marey_marey111/2706

2015-12-27 19:03 回复了该问题
0
投票

执行hive报 Cannot find hadoop installation:?

没有看到你的相关配置文件,是无法定位到具体的问题。可以把相关的配置文件作为附件上传上来!

2015-12-23 20:01 回复了该问题
0
投票

Spark是不是能把所有传入作为参数的函数都分布式进行计算?

按照你的问题,实现方式可能有两种: 第一种:是通过调用函数的返回将每个Worker的计算函数计算完成,然后再汇总,类似于宽/窄依赖的问题 第二种:在函数f中通过...

2015-12-23 20:00 回复了该问题
1
投票

mesos、openstack、yarn三者都是数据中心的操作系统,如何比较,各自适用场合是什么呢?

个人整理了一下网上关于此类问题的答案,已经发到博客里面了,详细地址是:[url=http://www.flybi.net/blog/marey_marey111...

2015-12-23 19:57 回复了该问题
0
投票

hbase重启后找不到数据?

一般是配置有问题,看一下详细的hbase的执行日志文件

2015-12-23 09:53 回复了该问题
0
投票

使用HWI从Hive查询数据会出现Http请求超时吗?

一般情况下是不会超时的,因为我们请求的时候都限制了处理条数。

2015-12-20 12:15 回复了该问题
0
投票

自定义的flume sink中连接hive驱动,一直连接不上,请问大神门是不是什么地方有问题呀?求大神指导,急急急

有什么日志的错误提示么?上传下,不然你这样,论坛里面的人也没有办法回复这个问题的。

2015-12-20 12:13 回复了该问题

改版

反馈