大数据

  从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。

0
推荐
1711
阅读

大数据应用(一)-双色球算奖平台总体设计大纲篇

引子:双色球延期开奖,你Hold住了吗  福利彩票走进百姓生活,每期的500w大奖吸引了千万彩民的眼球和关注,备受争议的双色球延期开奖也成了争议的焦点,成...
0
推荐
2181
阅读

大数据工具篇(二)-Hive与HBase整合完整教程

一、引言  最近的一次培训,用户特意提到Hadoop环境下HDFS中存储的文件如何才能导入到HBase,关于这部分基于HBase Java API的写入方式,之前曾经有过技术文...
0
推荐
1514
阅读

大数据工具篇(三)-Hive与MySQL整合完整教程

一、引言  Hive元数据存储可以放到RDBMS数据库中,本文以Hive与MySQL数据库的整合为目标,详细说明Hive与MySQL的整合方法。二、安装驱动  MySQL最新的Jav...
0
推荐
1880
阅读

大数据工具篇(一)-yiflume1.4-安装部署指南

一、引言  flume-ng是一个分布式、高可靠和高效的日志收集系统,flume-ng是flume的新版本的意思,其中“ng”意为new generate(新一代),目前来说,flume-ng 1...
2
推荐
5701
阅读

查看hdfs仓库文件时出现Permission denied

问题:在hdfs上运行hdfs dfs -ls /inceptorsql1/user/hive/warehouse出现如下错误:ls: Permission denied: user=root, access=READ_EXECUTE, inode="/incept...
2
推荐
1668
阅读

胖子哥的大数据之路(十五):互联网企业数据战略运营规划之总决式

一、总决      “天下武功唯快不败”,数据化运营战略在不同的行业、不同的企业之间是不同的,但是亦有其共性,即:快速的数据就绪和响应能力。...
0
推荐
1893
阅读

胖子哥的大数据之路(十四):数据价值链模型

一、模型示意图二、模型解读       Knowledge is also defined using taxonomy, with levels describing data, information, ...
1
推荐
1648
阅读

胖子哥的大数据之路(十三):破题,或从数据整合开始

一、前言    这是关于互联网上一篇文章的读后感,原文标题《大数据成变量,BAT入口生态或生变局》。读这篇文章既有醍醐灌顶之顿悟,亦有如履...
2
推荐
2288
阅读

胖子哥的大数据之路(十二)- 三张图告诉你大数据安全方案设计

一、引言:  最近一直很忙,在做一个全国性项目的IT架构,所以一直没有更新,好在算是告一段落,继续努力吧。项目沟通中过程客户反复在强调,大数据的安全...
0
推荐
1484
阅读

胖子哥的大数据之路(十一)- 我看Intel&&Cloudera的合作

一、引言  5月8日,作为受邀嘉宾,参加了Intel与Cloudera在北京中国大饭店新闻发布会,两家公司宣布战略合作,该消息成为继Intel宣布放弃大数据平台之后的...
2
推荐
1768
阅读

胖子哥的大数据之路(十)- 基于Hive构建数据仓库实例

一、引言  基于Hive+Hadoop模式构建数据仓库,是大数据时代的一个不错的选择,本文以郑商所每日交易行情数据为案例,探讨数据Hive数据导入的操作实例。二、...
0
推荐
1903
阅读

胖子哥的大数据之路(九)-数据仓库金融行业数据逻辑模型FS-LDM

引言  大数据不是海市蜃楼,万丈高楼平地起只是意淫,大数据发展还要从点滴做起,基于大数据构建国家级、行业级数据中心的项目会越来越多,大数据只是技术...
1
推荐
1790
阅读

胖子哥的大数据之路(八)- 数据仓库命名规范

引言:  从对大数据的狂热到理性的回归,项目实施起到了醍醐灌顶的作用,大数据技术只能作为一种IT基础架构(存储+运算),而实际的工程化实施,还是要回归...
0
推荐
1827
阅读

胖子哥的大数据之路(七)- 传统企业切入核心or外围

一、引言  昨天和一个做互联网大数据(零售行业)的朋友交流,关于大数据传统企业实施的切入点产生了争执,主要围绕两个问题进行了深入的探讨:  问题1:...
1
推荐
2601
阅读

胖子哥的大数据之路(六)- NoSQL生态圈全景介绍

引言  NoSQL高级培训课程的基础理论篇的部分课件,是从一本英文原著中做的摘选,中文部分参考自互联网。给大家分享。      NoSQL不是一个工...

1966 人关注

最佳回复者

改版

反馈