hive面试题及答案

涵盖基础、性能、优化等多方面问题

在大数据领域，hive是一款非常重要的数据仓库工具，面试中也经常会被问到相关问题。下面为大家整理一些常见的hive面试题及答案。

基础概念类问题

问题：什么是hive？它有什么作用？

答案：hive是基于hadoop的一个数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供类sql查询功能。其作用主要是方便熟悉sql的用户在hadoop上进行数据处理和分析，避免了直接使用mapreduce进行复杂编程。例如，企业中数据分析师可以使用hive sql对海量日志数据进行统计分析。

问题：hive有哪些数据类型？

答案：hive的数据类型分为基本数据类型和复杂数据类型。基本数据类型包括tinyint、smallint、int、bigint、float、double、string、boolean等；复杂数据类型有array、map、struct和uniontype。比如，我们可以用array存储多个相同类型的数据，像一个学生的多门课程成绩。

表操作类问题

问题：内部表和外部表的区别是什么？

答案：内部表也叫管理表，hive会管理数据的生命周期，当删除内部表时，数据也会被删除。而外部表的数据由用户自己管理，删除外部表时，只是删除了表的元数据，数据仍然存在。例如，我们将一份日志数据加载到内部表，删除表后日志数据就没了；若加载到外部表，删除表后日志文件还在存储系统中。

问题：如何创建分区表？

答案：创建分区表时，需要在create table语句中指定分区字段。例如：

create table student_score (name string, score int) partitioned by (year int, month int);

这样就创建了一个按年和月分区的学生成绩表。

查询优化类问题

问题：如何优化hive查询性能？

答案：可以从多个方面进行优化。一是合理使用分区表，通过分区过滤减少数据扫描量；二是使用索引，提高数据查找速度；三是调整mapreduce任务的并行度，避免数据倾斜。比如，对于按日期分区的销售数据表，查询某一天的数据时，直接指定分区可以大大提高查询效率。

问题：什么是数据倾斜？如何解决？

答案：数据倾斜是指在数据处理过程中，某些任务处理的数据量远远大于其他任务，导致整体性能下降。解决方法有：对数据进行预处理，去除异常值；使用随机前缀和二次聚合的方法；调整hive的参数，如设置hive.groupby.skewindata为true。例如，在统计用户订单量时，个别大客户订单量极大，就容易出现数据倾斜，通过上述方法可以缓解。

函数使用类问题

问题：hive有哪些常用的内置函数？

答案：常用的内置函数有数学函数（如round、abs）、字符串函数（如substr、concat）、日期函数（如year、month）等。例如，使用substr函数可以截取字符串的一部分，用于处理用户姓名的缩写。

问题：如何自定义udf函数？

答案：首先要继承org.apache.hadoop.hive.ql.exec.udf类，并重写evaluate方法。然后将编写好的java代码打包成jar文件，在hive中使用add jar命令添加jar包，最后使用create temporary function命令创建临时函数。比如，我们可以自定义一个udf函数来实现对手机号码的脱敏处理。

与其他组件结合类问题

问题：hive与hbase如何集成？

答案：可以通过hive的hbase存储句柄来实现集成。首先要确保hive和hbase的配置文件相互兼容，然后创建外部表时指定存储为hbase。例如：

create external table hive_hbase_table(key int, value string) stored by 'org.apache.hadoop.hive.hbase.hbasestoragehandler' with serdeproperties ("hbase.columns.mapping" = ":key,cf:val") tblproperties ("hbase.table.name" = "hbase_table");

这样就可以在hive中对hbase的数据进行查询和分析。