Hive

  Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。

0
推荐
1795
阅读

Hive3 误操作删除数据后的恢复方案

cx库t3表hdfs://nameservice1:8020/user/hive/warehouse/cx.db/t3/delta_0000011_0000011_0000hdfs://nameservice1:8020/user/hive/warehouse/cx.db/t3/delta...
0
推荐
2664
阅读

Hive UDF 无法删除的BUG

问题当创建UDF过程报错,如:Class不存在等,show functions like 'xx' 会发现UDF创建成功,实际函数本身是有问题的直接drop function xx,提示成功但实...
0
推荐
2963
阅读

Python数据插入Hive中文编码问题

日常使用Hive时候  经常出现中文乱码问题  在此总结下MySQL大量数据插入Hive时,一般两种情况:手动导入Hive或者用Python代码(基于python2)一.My...
0
推荐
4718
阅读

hive-shell批量操作分区文件

使用hive表的过程中经常需要一些便捷操作:一、hdfs文件批量写SUCCESS文件,一般来说hive表生成结束,会产生一个_SUCCESS文件判断数据是否正常刷新完成但是如...
2
推荐
11076
阅读

利用钉钉机器人定时发送数据提醒&消息

工作中偶尔会遇到一些小需求,比如以下几种需求:在钉钉里面定时提醒订餐每天及时发送某一场景数据指标到某个聊天群监控数据异常因为是小需求,没有必要新起...
1
推荐
13435
阅读

windows和linux连接hive问题

本文讲述下远程连接Hive遇到的一些问题一、CentOS连接Hive   尝试使用CentOS 7远程连接Hive,首先安装好需要的相关包pip install pyhive pip instal...
0
推荐
1934
阅读

【老贝伏枥】 数据库窗口函数-windows function

几乎常用的数据库都具备了SQL常用的窗口函数,比如比较常见的row_number() over()。尤其在hive数据库,灵活使用窗口函数能快速实现代码逻辑并提高执行效率。...
0
推荐
8216
阅读

【hive常用函数一】日期函数

使用hive进行数据处理的过程种,遇到不少问题,总结之前的一些开发经验,把之前的一些处理技巧mark一下:使用通用的哑表dual作为测试表用。1、时间戳转换日期...
0
推荐
3158
阅读

hive 调度

这个方法适用于存在多个hql脚本,想要统一调度,或者多个hql存在依赖关系的场景逻辑简述:四类文件 1、pkg.sh文件(1个pkg.sh文件),用来调度rpt.sh文...
7
推荐
5204
阅读

实现Hive查询操作HBase中的数据

今天主要给大家讲解一下,如何使用Hive来查询及操作HBase里面的数据,也就是实现二者的数据互通互导,相互操作。首先不了解HBase的亲可以看一下我之前写过的...
7
推荐
2784
阅读

大数据环境-快速安装使用

安装大数据环境的技术博文、甚至视频课在网上有太多太多啦。还是有很多小伙伴很头疼环境安装配置,怎么安装怎么配置,总有出错的地方,都其中最头疼的莫过于L...
0
推荐
2550
阅读

hive 配置时一些错误

一:初始化元数据库错误:解决方法:将初始化名利:schematool -initSchema –dbType mysql  改为 schematool -dbType mysql -initSchema二:初始化...
0
推荐
2470
阅读

问题:因为ambari重启HDFS有某个节点失败导致,后续创建目录报错 根本原因:name node处于safe mode

错误信息:Caused by: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop...
0
推荐
7433
阅读

在Hadoop 中用 hive 命令启动时报错:expansion character (code 0x8 at [row,col,system-id]: [3213,96,

错误信息:Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion charact...
6
推荐
3387
阅读

三步构建Hive自己的dual

       dual表的概念来自oracle,数据库建立时即与数据字典一起初始化,该表只有一个varchar2类型名为dummy的字段,表数据只有一行“X”,...

相关话题

713 人关注

最佳回复者

改版

反馈