大数据

  从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。

0
推荐
1643
阅读

工作流引擎Oozie(二):coordinator

1. 简介coordinator是workflow的定时提交器,基于时间条件与数据生成触发(based on time and data triggers)。简单点说,coordinator按所定义的时间周期进...
0
推荐
1950
阅读

工作流引擎Oozie(一):workflow

1. Oozie简介Yahoo开发工作流引擎Oozie(驭象者),用于管理Hadoop任务(支持MapReduce、Spark、Pig、Hive),把这些任务以DAG(有向无环图)方式串接起来。O...
0
推荐
1330
阅读

如何用大数据思维找女朋友?

导读找女朋友不仅需要好眼力,还需要一些技术含量。比如眼下正热的大数据,可以认真钻研,用数据分析来实现自己的“脱单计划”。小猿25岁,单身男,热衷大数据...
2
推荐
1316
阅读

【54页PPT】数据分析全流程资料,适合各路人马

数据是一个神奇的东西,读的懂数据,就会像开挂一样。可是很多人,不懂数据,今天小创就和大家谈谈数据分析这一块的东西现在,你懂数据分析了吧!
0
推荐
1498
阅读

射手男更易出轨?从出轨网站数据泄露看懂“数据分析”

人人都在谈论大数据,但有几个人真的了解、亲自实践过数据分析?我们将上手分析某著名出轨约炮网站泄露的用户信息,并借此带你了解数据分析的真实面目。大数...
1
推荐
2073
阅读

【干货】Python使用matplotlib实现数据可视化

前言俗话说得好,一图胜千言。数据可视化是数据科学中的一个重要部分。创建可视化很简单,但是创建优秀的可视化很难。数据可视化有两种主要用途:探索数据和...
3
推荐
4768
阅读

写给大数据开发初学者的话

导读:第一章:初识Hadoop第二章:更高效的WordCount第三章:把别处的数据搞到Hadoop上第四章:把Hadoop上的数据搞到别处去第五章:快一点吧,我的SQL第六章...
4
推荐
1619
阅读

43页PPT | 数据思维全解析

本文来自于我的朋友Fox最新ppt,他的公众号:母婴零售探索(FoxHo1108)当年我们说,“学好数理化,走遍天下都不怕”。大数据时代,我们的口号是“有了数据思维...
4
推荐
2224
阅读

十七年的润乾,壮士断腕的变革,报表到计算的转身

令人费解的降价之举2017年2月16日,笔者在朋友圈看到一篇润乾的文章 《报表工具的后路》,在这篇文章的最后润乾直接推出了一个报表的套餐价格:2.8万10套,10...
0
推荐
1907
阅读

哈佛教授用3个大数据案例告诉你:大数据,重要的不是数据!

“满城尽谈大数据”,但很多人其实并不理解大数据真正价值是什么,哈佛大学GaryKing教授用3个大数据研究案例告诉你:有数据固然好,但是如果没有分析,数据的价...
0
推荐
2904
阅读

轻量级OLAP(二):Hive + Elasticsearch

1. 引言在做OLAP数据分析时,常常会遇到过滤分析需求,比如:除去只有性别、常驻地标签的用户,计算广告媒体上的覆盖UV。OLAP解决方案Kylin不支持复杂数据类...
0
推荐
2262
阅读

轻量级OLAP(一):Cube计算

有一个数据多维分析的任务:日志的周UV;APP的收集量及标注量,TOP 20 APP(周UV),TOP 20 APP标注分类(周UV);手机机型的收集量及标注量,TOP 20 机型(周U...
1
推荐
3750
阅读

【实例】Excel数据分析之假设检验中的t-检验应用

前言你的假设可信吗?在我们实际工作中,事物的个体差异总是客观存在的,抽样的误差也就无可避免。当一些样本均数与已知的总体均数有很大的差别时,一般来说...
0
推荐
3192
阅读

Apache Kylin 部署之不完全指南

1. 引言Apache Kylin(麒麟)是由eBay开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据。底层存储用的是HBase,...
3
推荐
3334
阅读

Kylin的cube模型

1. 数据仓库的相关概念OLAP大部分数据库系统的主要任务是执行联机事务处理和查询处理,这种处理被称为OLTP(Online Transaction Processing, OLTP),面向的...

1966 人关注

最佳回复者

改版

反馈