Hive技术

第一章 Hive入门

Hive架构原理

1. 用户接口：Client
   CLI（command-line interface）、JDBC/ODBC。
   说明：JDBC和ODBC的区别。
   • JDBC的移植性比ODBC好；（通常情况下，安装完ODBC驱动程序之后，还需要经过确定的配置才能够应用。而不相同的配置在不相同数据库服务器之间不能够通用。所以，安装一次就需要再配置一次。JDBC只需要选取适当的JDBC数据库驱动程序，就不需要额外的配置。在安装过程中，JDBC数据库驱动程序会自己完成有关的配置。）
   • 两者使用的语言不同，JDBC在Java编程时使用，ODBC一般在C/C++编程时使用。
2. 元数据：Metastore
   元数据包括：数据库（默认是default）、表名、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。
   默认存储在自带的derby数据库中，由于derby数据库只支持单客户端访问，生产环境中为了多人开发，推荐使用MySQL存储Metastore。
3. 驱动器：Driver
   • 解析器（SQLParser）：将SQL字符串转换成抽象语法树（AST）
   • 语义分析（Semantic Analyzer）：将AST进一步划分为QeuryBlock
   • 逻辑计划生成器（Logical Plan Gen）：将语法树生成逻辑计划
   • 逻辑优化器（Logical Optimizer）：对逻辑计划进行优化
   • 物理计划生成器（Physical Plan Gen）：根据优化后的逻辑计划生成物理计划
   • 物理优化器（Physical Optimizer）：对物理计划进行优化
   • 执行器（Execution）：执行该计划，得到查询结果并返回给客户端
     
     
4. Hadoop
   使用HDFS进行存储，可以选择MapReduce/Tez/Spark进行计算。

第二章 Hive安装

Hive安装地址

• Hive官网地址

  http://hive.apache.org/

• 文档查看地址

  https://cwiki.apache.org/confluence/display/Hive/GettingStarted

• 下载地址

  http://archive.apache.org/dist/hive/

• github地址

  https://github.com/apache/hive

  Hive安装部署

  安装Hive

  1. 把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下
  2. 解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面

     [Jermyn@hadoop102 software]$ tar -zxvf /opt/software/apache-hive-3.1.3-bin.tar.gz -C /opt/module/

  3. 修改apache-hive-3.1.3-bin.tar.gz的名称为hive

     [Jermyn@hadoop102 software]$ mv /opt/module/apache-hive-3.1.3-bin/ /opt/module/hive

  4. 修改/etc/profile.d/my_env.sh，添加环境变量

     [Jermyn@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

     添加内容

     #HIVE_HOME
     export HIVE_HOME=/opt/module/hive
     export PATH=$PATH:$HIVE_HOME/bin

     source

     [Jermyn@hadoop102 hive]$ source /etc/profile.d/my_env.sh

  5. 初始化元数据库（默认是derby数据库）

     [Jermyn@hadoop102 hive]$ bin/schematool -dbType derby -initSchema

启动并使用Hive

1. 启动Hive

   [Jermyn@hadoop102 hive]$ bin/hive

2. 使用Hive

   hive> show databases;
   hive> show tables;
   hive> create table stu(id int, name string);
   hive> insert into stu values(1,"ss");
   hive> select * from stu;

MySQL安装

安装MySQL

1. 上传MySQL安装包以及MySQL驱动jar包

   mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
   mysql-connector-java-5.1.37.jar

2. 解压MySQL安装包

   [Jermyn@hadoop102 software]$ mkdir mysql_lib
   [Jermyn@hadoop102 software]$ tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C mysql_lib/

3. 卸载系统自带的mariadb

   [Jermyn@hadoop102 ~]$ sudo rpm -qa | grep mariadb | xargs sudo rpm -e --nodeps

4. 安装MySQL依赖

   [Jermyn@hadoop102 software]$ cd mysql_lib
   [Jermyn@hadoop102 mysql_lib]$ sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
   [Jermyn@hadoop102 mysql_lib]$ sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
   [Jermyn@hadoop102 mysql_lib]$ sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm

5. 安装mysql-client

   [Jermyn@hadoop102 mysql_lib]$ sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm

6. 安装mysql-server

   [Jermyn@hadoop102 mysql_lib]$ sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

   注意：若出现以下错误
   warning: 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
   error: Failed dependencies:
   libaio.so.1()(64bit) is needed by mysql-community-server-5.7.16-1.el7.x86_64
   解决办法:

   [Jermyn@hadoop102 software]$ sudo yum -y install libaio

7. 启动MySQL

   [Jermyn@hadoop102 software]$ sudo systemctl start mysqld

8. 查看MySQL密码

   [Jermyn@hadoop102 software]$ sudo cat /var/log/mysqld.log | grep password

配置MySQL

配置主要是root用户 + 密码，在任何主机上都能登录MySQL数据库。

1. 用刚刚查到的密码进入MySQL（如果报错，给密码加单引号）

   [Jermyn@hadoop102 software]$ mysql -uroot -p'password'

2. 设置复杂密码（由于MySQL密码策略，此密码必须足够复杂）

   mysql> set password=password("Qs23=zs32");

3. 更改MySQL密码策略

   mysql> set global validate_password_policy=0;
   mysql> set global validate_password_length=4;

4. 设置简单好记的密码

   mysql> set password=password("123456");

5. 进入MySQL库

   mysql> use mysql

6. 查询user表

   mysql> select user, host from user;

7. 修改user表，把Host表内容修改为%

   mysql> update user set host="%" where user="root";

8. 刷新

   mysql> flush privileges;

9. 退出

   mysql> quit;

配置Hive元数据存储到MySQL

配置元数据到MySQL

1. 新建Hive元数据库

   # 登录MySQL
   [Jermyn@hadoop102 software]$ mysql -uroot -p123456
   
   # 创建Hive元数据库
   mysql> create database metastore;
   mysql> quit;

2. 将MySQL的JDBC驱动拷贝到Hive的lib目录下。

   [Jermyn@hadoop102 software]$ cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib

3. 在$HIVE_HOME/conf目录下新建hive-site.xml文件

   [Jermyn@hadoop102 software]$ vim $HIVE_HOME/conf/hive-site.xml

   添加如下内容：

   <?xml version="1.0"?>
   <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
   
   <configuration>
       <!-- jdbc连接的URL -->
       <property>
           <name>javax.jdo.option.ConnectionURL</name>
           <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
       </property>
       
       <!-- jdbc连接的Driver-->
       <property>
           <name>javax.jdo.option.ConnectionDriverName</name>
           <value>com.mysql.jdbc.Driver</value>
       </property>
       
   	<!-- jdbc连接的username-->
       <property>
           <name>javax.jdo.option.ConnectionUserName</name>
           <value>root</value>
       </property>
   
       <!-- jdbc连接的password -->
       <property>
           <name>javax.jdo.option.ConnectionPassword</name>
           <value>123456</value>
       </property>
   
       <!-- Hive默认在HDFS的工作目录 -->
       <property>
           <name>hive.metastore.warehouse.dir</name>
           <value>/user/hive/warehouse</value>
       </property>
   </configuration>

4. 初始化Hive元数据库（修改为采用MySQL存储元数据）

   [Jermyn@hadoop102 hive]$ bin/schematool -dbType mysql -initSchema -verbose

验证元数据是否配置成功

1. 再次启动Hive

   [Jermyn@hadoop102 hive]$ bin/hive

2. 使用Hive

   hive> show databases;
   hive> show tables;
   hive> create table stu(id int, name string);
   hive> insert into stu values(1,"ss");
   hive> select * from stu;

3. 在Xshell窗口中开启另一个窗口开启Hive（两个窗口都可以操作Hive，没有出现异常）

   hive> show databases;
   hive> show tables;
   hive> select * from stu;

Hive服务部署

hiveserver2服务

Hive的hiveserver2服务的作用是提供jdbc/odbc接口，为用户提供远程访问Hive数据的功能，例如用户期望在个人电脑中访问远程服务中的Hive数据，就需要用到Hiveserver2。

1. 用户说明
   在远程访问Hive数据时，客户端并未直接访问Hadoop集群，而是由Hivesever2代理访问。由于Hadoop集群中的数据具备访问权限控制，所以此时需考虑一个问题：那就是访问Hadoop集群的用户身份是谁？是Hiveserver2的启动用户？还是客户端的登录用户？
   答案是都有可能，具体是谁，由Hiveserver2的hive.server2.enable.doAs参数决定，该参数的含义是是否启用Hiveserver2用户模拟的功能。若启用，则Hiveserver2会模拟成客户端的登录用户去访问Hadoop集群的数据，不启用，则Hivesever2会直接使用启动用户访问Hadoop集群数据。模拟用户的功能，默认是开启的。
   具体逻辑如下：
   未开启用户模拟功能：
   
   开启用户模拟功能：
   
   生产环境，推荐开启用户模拟功能，因为开启后才能保证各用户之间的权限隔离。

2. hiveserver2部署

   • Hadoop端配置
     hivesever2的模拟用户功能，依赖于Hadoop提供的proxy user（代理用户功能），只有Hadoop中的代理用户才能模拟其他用户的身份访问Hadoop集群。因此，需要将hiveserver2的启动用户设置为Hadoop的代理用户，配置方式如下：
   • 修改配置文件core-site.xml，然后记得分发三台机器

     [Jermyn@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
     [Jermyn@hadoop102 hadoop]$ vim core-site.xml

     增加如下配置：

     <!--配置所有节点的Jermyn用户都可作为代理用户-->
     <property>
         <name>hadoop.proxyuser.Jermyn.hosts</name>
         <value>*</value>
     </property>
     
     <!--配置Jermyn用户能够代理的用户组为任意组-->
     <property>
         <name>hadoop.proxyuser.Jermyn.groups</name>
         <value>*</value>
     </property>
     
     <!--配置Jermyn用户能够代理的用户为任意用户-->
     <property>
         <name>hadoop.proxyuser.Jermyn.users</name>
         <value>*</value>
     </property>

   • Hive端配置
     在hive-site.xml文件中添加如下配置信息

     [Jermyn@hadoop102 conf]$ vim hive-site.xml
     
     <!-- 指定hiveserver2连接的host -->
     <property>
     	<name>hive.server2.thrift.bind.host</name>
     	<value>hadoop102</value>
     </property>
     
     <!-- 指定hiveserver2连接的端口号 -->
     <property>
     	<name>hive.server2.thrift.port</name>
     	<value>10000</value>
     </property>```
     
     3. 测试
      - 启动hiveserver2
     ```powershell
     [Jermyn@hadoop102 hive]$ bin/hive --service hiveserver2

   • 使用命令行客户端beeline进行远程访问:启动beeline客户端

     [Jermyn@hadoop102 hive]$ bin/beeline -u jdbc:hive2://hadoop102:10000 -n Jermyn

     看到如下界面:

     Connecting to jdbc:hive2://hadoop102:10000
     Connected to: Apache Hive (version 3.1.3)
     Driver: Hive JDBC (version 3.1.3)
     Transaction isolation: TRANSACTION_REPEATABLE_READ
     Beeline version 3.1.3 by Apache Hive
     0: jdbc:hive2://hadoop102:10000>

3. 启动hiveserver2后台运行

   [Jermyn@hadoop102 hive]$ bin/hiveserver2 >/dev/null 2>&1 &
   [1] 5770
   [Jermyn@hadoop102 hive]$ jps
   5108 NodeManager
   5892 Jps
   4905 DataNode
   5770 RunJar
   4735 NameNode
   [Jermyn@hadoop102 hive]$

metastore服务

Hive的metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口。

1. metastore运行模式
   metastore有两种运行模式，分别为嵌入式模式和独立服务模式。下面分别对两种模式
   • 嵌入式模式
     
   • 独立服务模式
     
     生产环境中，不推荐使用嵌入式模式。因为其存在以下两个问题：
   • 嵌入式模式下，每个Hive CLI都需要直接连接元数据库，当Hive CLI较多时，数据库压力会比较大。
   • 每个客户端都需要用户元数据库的读写权限，元数据库的安全得不到很好的保证。
2. metastore部署
   • 嵌入式模式
     嵌入式模式下，只需保证Hiveserver2和每个Hive CLI的配置文件hive-site.xml中包含连接元数据库所需要的以下参数即可：

     <!-- jdbc连接的URL -->
         <property>
             <name>javax.jdo.option.ConnectionURL</name>
             <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
         </property>
         
         <!-- jdbc连接的Driver-->
         <property>
             <name>javax.jdo.option.ConnectionDriverName</name>
             <value>com.mysql.jdbc.Driver</value>
         </property>
         
     	<!-- jdbc连接的username-->
         <property>
             <name>javax.jdo.option.ConnectionUserName</name>
             <value>root</value>
         </property>
     
         <!-- jdbc连接的password -->
         <property>
             <name>javax.jdo.option.ConnectionPassword</name>
             <value>123456</value>
         </property>

   • 独立服务模式
     独立服务模式需做以下配置：
     首先，保证metastore服务的配置文件hive-site.xml中包含连接元数据库所需的以下参数：

     <!-- jdbc连接的URL -->
         <property>
             <name>javax.jdo.option.ConnectionURL</name>
             <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
         </property>
         
         <!-- jdbc连接的Driver-->
         <property>
             <name>javax.jdo.option.ConnectionDriverName</name>
             <value>com.mysql.jdbc.Driver</value>
         </property>
         
     	<!-- jdbc连接的username-->
         <property>
             <name>javax.jdo.option.ConnectionUserName</name>
             <value>root</value>
         </property>
     
         <!-- jdbc连接的password -->
         <property>
             <name>javax.jdo.option.ConnectionPassword</name>
             <value>123456</value>
         </property>

     其次，保证Hiveserver2和每个Hive CLI的配置文件hive-site.xml中包含访问metastore服务所需的以下参数：

     <!-- 指定metastore服务的地址 -->
     <property>
     	<name>hive.metastore.uris</name>
     	<value>thrift://hadoop102:9083</value>
     </property>

     注意：主机名需要改为metastore服务所在节点，端口号无需修改，metastore服务的默认端口就是9083。

编写Hive服务启动脚本

1. 前台启动的方式导致需要打开多个Xshell窗口，可以使用如下方式后台方式启动
   • nohup：放在命令开头，表示不挂起，也就是关闭终端进程也继续保持运行状态
   • /dev/null：是Linux文件系统中的一个文件，被称为黑洞，所有写入该文件的内容都会被自动丢弃
   • 2>&1：表示将错误重定向到标准输出上
   • &：放在命令结尾，表示后台运行
     一般会组合使用：nohup [xxx命令操作]> file 2>&1 &，表示将xxx命令运行的结果输出到file中，并保持命令启动的进程在后台运行。

     [Jermyn@hadoop202 hive]$ nohup hive --service metastore 2>&1 &
     [Jermyn@hadoop202 hive]$ nohup hive --service hiveserver2 2>&1 &

2. 为了方便使用，可以直接编写脚本来管理服务的启动和关闭

   #!/bin/bash
   ############################################################################
   # Desc    : hiveservices hive集群控制脚本
   # Path    : /home/Jermyn/bin
   # Auther  : Jermyn
   # Date    : 2023-07-15
   # Version : 1.0
   ############################################################################
   HIVE_LOG_DIR=$HIVE_HOME/logs
   if [ ! -d $HIVE_LOG_DIR ]
   then
           mkdir -p $HIVE_LOG_DIR
   fi
   
   #检查进程是否运行正常，参数1为进程名，参数2为进程端口
   function check_process()
   {
       pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
       ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
       echo $pid
       [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
   }
   
   function hive_start()
   {
       metapid=$(check_process HiveMetastore 9083)
       cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
       [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
       server2pid=$(check_process HiveServer2 10000)
       cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
       [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
   }
   
   function hive_stop()
   {
   metapid=$(check_process HiveMetastore 9083)
       [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
       server2pid=$(check_process HiveServer2 10000)
       [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
   }
   
   case $1 in
   "start")
       hive_start
       ;;
   "stop")
       hive_stop
       ;;
   "restart")
       hive_stop
       sleep 2
       hive_start
       ;;
   "status")
       check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
       check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
       ;;
   *)
       echo Invalid Args!
       echo 'Usage: '$(basename $0)' start|stop|restart|status'
       ;;
   esac

第三章 DDL（Data Definition Language）数据定义

数据库（database）

创建数据库

CREATE DATABASE [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, ...)];

查询数据库

1. 展示所有数据库

   SHOW DATABASES [LIKE 'identifier_with_wildcards'];
   注：like通配表达式说明：*表示任意个任意字符，|表示或的关系。

2. 查看数据库信息

   DESCRIBE DATABASE [EXTENDED] db_name;

   修改数据库

   用户可以使用alter database命令修改数据库某些信息，其中能够修改的信息包括dbproperties、location、owner user。需要注意的是：修改数据库location，不会改变当前已有表的路径信息，而只是改变后续创建的新表的默认的父目录。

   --修改dbproperties
   ALTER DATABASE database_name SET DBPROPERTIES (property_name=property_value, ...);
   
   --修改location
   ALTER DATABASE database_name SET LOCATION hdfs_path;
   
   --修改owner user
   ALTER DATABASE database_name SET OWNER USER user_name;

   删除数据库

   DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];
   注：RESTRICT：严格模式，若数据库不为空，则会删除失败，默认为该模式。
       CASCADE：级联模式，若数据库不为空，则会将库中的表一并删除。

   切换当前数据库

   USE database_name;

表（table）

创建表

1. 普通建表

   CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name   
   [(col_name data_type [COMMENT col_comment], ...)]
   [COMMENT table_comment]
   [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
   [CLUSTERED BY (col_name, col_name, ...) 
   [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
   [ROW FORMAT row_format] 
   [STORED AS file_format]
   [LOCATION hdfs_path]
   [TBLPROPERTIES (property_name=property_value, ...)]

• TEMPORARY:临时表，该表只在当前会话可见，会话结束，表会被删除。
• EXTERNAL（重点）:外部表，与之相对应的是内部表（管理表）。管理表意味着Hive会完全接管该表，包括元数据和HDFS中的数据。而外部表则意味着Hive只接管元数据，而不完全接管HDFS中的数据。
• data_type（重点）:Hive中的字段类型可分为基本数据类型和复杂数据类型。
  基本数据类型如下：
  
  复杂数据类型如下:
  

  注：类型转换
  Hive的基本数据类型可以做类型转换，转换的方式包括隐式转换以及显示转换。
  方式一：隐式转换
  具体规则如下：
  a. 任何整数类型都可以隐式地转换为一个范围更广的类型，如tinyint可以转换成int，int可以转换成bigint。
  b. 所有整数类型、float和string类型都可以隐式地转换成double。
  c. tinyint、smallint、int都可以转换为float。
  d. boolean类型不可以转换为任何其它的类型。
  详情可参考Hive官方说明：
  
  方式二：显示转换
  可以借助cast函数完成显示的类型转换
  a.语法
  cast(expr as)