大数据

  从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。

0
推荐
1484
阅读

Pig + Ansj 统计中文文本词频

最近特别喜欢用Pig,拥有能满足大部分需求的内置函数(built-in functions),支持自定义函数(user defined functions, UDF),能load 纯文本、avro等...
0
推荐
1326
阅读

Pig 实现关键词匹配

1. 问题描述收集日志avro数据中有两个Map字段appInstall、appUse分别表示已安装的app、正在使用的app,且key值为app的名称,value值为app使用信息。现在要得...
0
推荐
2088
阅读

【进阶】Python爬虫采集整个网站

前言在之前的文章中Python实现“维基百科六度分隔理论“之基础爬虫,我们实现了在一个网站上随机地从一个链接到另一个链接,但是,如果我们需要系统地把整个网...
0
推荐
1896
阅读

【进阶】Excel中的方差分析之双因素方差分析

预备阅读:【进阶】Excel中的方差分析之单因素方差分析前言前面我们说了方差分析中的单因素方差分析,但是在实际工作中,影响因素往往不止一个,需要考虑两个...
0
推荐
2359
阅读

【进阶】Excel中的方差分析之单因素方差分析

前言无论是什么活动,影响产品质量和产品的因素都有多种,如影响农作物产量的因素有品种、天气、施肥量、肥料的种类等等。如果我们想要了解这些因素中哪些因...
1
推荐
1273
阅读

微博上市三年,已成庞然大物

距离2014年4月17日微博上市已经三周年了,微博的运营也到了第八个年头,完成了从“新浪微博”到“微博”的华丽蜕变,俨然已经成为了中国唯一一个具有公共媒体主页...
5
推荐
2240
阅读

美云智数,大数据时代的跨界搅局者

谋定而后动,后发制人在国内的大数据行业,我们面对面接触和拜访过上百家大数据技术、大数据应用的创业公司,这些公司大部分都是属于技术型创业。技术先行、...
0
推荐
2252
阅读

Python使用xlrd和xlwt读写Excel的简单用法

前言数据处理是 Python 的一大应用场景,而 Excel 则是最流行的数据处理软件。因此用Python 进行数据相关的工作时,难免要和 Excel 打交道。标准的 Excel 文...
0
推荐
1598
阅读

【进阶】MySQL中的连接查询

前言前面我们学习了MySQL的一些查询,但是都是针对一个表进行查询,当我们查询的表大于1个,则称为连接查询。连接查询是关系数据库中重要的查询方式,包括交...
1
推荐
1561
阅读

各地都在搞大数据,有你的家乡没?解读2017年地方政府大数据报告

文 |  水手哥原文转自 帆软数据应用研究院大数据干货和案例集中地!日前,数据中心联盟大数据发展促进委员会发布了《我国地方政府大数据发展规划分...
0
推荐
1854
阅读

大数据挖掘算法篇之K-Means实例

18220.0 0.0 1.0 0.0 0.0 1.0 2.0 1.0 1.0 2.0 2.0 2.0 2.0 0.0 0.0 2.0 7.0 6.0 7.0 7.0 7.0 8.0 ...
1
推荐
2129
阅读

大数据应用之Windows平台Hbase客户端Eclipse环境搭建-Java版

引子:  大数据的场景下,NoSql型数据库的优势不言而喻,但是涉及NoSQL数据库的实际动手开发的东西多是Linux平台,大多语焉不详,至于Windows平台介绍的东...
4
推荐
2745
阅读

HBase操作实践

whoami,查看当前用户help,帮助命令status,HBase状态version,查看HBase版本list,列出当前表清单create ‘member’,’member_id’,’address’,’baseinfo’ ...
0
推荐
1623
阅读

【进阶】MySQL中的子查询和联合查询

前言前面说了很多MySQL中的查询,比如条件查询、分组聚合查询、连接查询,今天来说一下另外两个非常的重要的查询,MySQL中的子查询和联合查询。子查询子查询...
0
推荐
1264
阅读

调研,那些大数据干不掉的小数据

调研就是大数据无法攻克的堡垒“我就是喜欢你很大,可是你干不掉我的样子”,调研问卷嗨森的对R,Python,hadoop,Spark一众人等做个鬼脸话说2017年是21世纪了...

1966 人关注

最佳回复者

改版

反馈