博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hive中如何快速的复制一张分区表(包括数据)
阅读量:5170 次
发布时间:2019-06-13

本文共 759 字,大约阅读时间需要 2 分钟。

如果我们表的分区创建非常多的话,对于我们装载数据是一件非常麻烦的事,Hive提供动态分区来解决这个问题。

可以基于查询参数推断出需要创建的分区名称,相比的分区都是静态的,这里就称之为动态的分区。
怎么来弄呢?

 

首先复制表结构:

create table applogs like applogsnew;

然后执行插入:

INSERT overwrite TABLE applogsnew PARTITION(create_time)

SELECT applogid ,msgtype ,clienttype ,create_time FROM applogs;

报错了,需要我们开启动态分区的支持

 

set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nostrict;
set hive.exec.max.dynamic.partitions.pernode=1000;

再次执行

INSERT overwrite TABLE applogsnew PARTITION(create_time) 

SELECT applogid ,msgtype ,clienttype ,create_time FROM applogs;

备注:

在创建分区的时候,最好不要创建过多的分区,如果分区过多的话,查询也是非常的慢的,就像在window下一个文件夹下面的文件过多会对我们的使用造成非常的不便的。
那么hive能支持多大的分区数呢,可以使用命令set hive.exec.max.dynamic.partitions获取。

 

转载于:https://www.cnblogs.com/zlzhoulei/p/5552366.html

你可能感兴趣的文章
【CF799E】Aquarium decoration 线段树
查看>>
大运飞天 鲲鹏展翅
查看>>
从ECMA到W3C
查看>>
软件工程--第十六周学习进度
查看>>
yii2 ActiveRecord多表关联以及多表关联搜索的实现
查看>>
搜狗输入法安装--ubuntu
查看>>
ps/2接口键盘的输入及显示
查看>>
Swift———a Glance(极客学院)笔记
查看>>
【poj3294-不小于k个字符串中最长公共子串】后缀数组
查看>>
java如何获取其它用户登录的真是IP地址
查看>>
Jquery通过指定层次关系获取元素
查看>>
c# for 和 foreach 的区别
查看>>
docfx (一)
查看>>
HashMap底层实现原理/HashMap与HashTable区别/HashMap与HashSet区别
查看>>
深度学习之前馈神经网络(前向传播和误差反向传播)
查看>>
IEnumerable<T>和IQueryable<T>区别
查看>>
(转)MFC界面风格
查看>>
Centos7 tmux1.6 安装
查看>>
二叉树(三)
查看>>
linux加密文件系统 fsck 无法修复一例
查看>>