<dependencies>

    <dependency>

        <groupId>org.apache.hive</groupId>

        <artifactId>hive-exec</artifactId>

        <version>2.1.0</version>

    </dependency>

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-common</artifactId>

        <version>2.7.5</version>

    </dependency>

</dependencies>

第二步：开发java类继承UDF，并重载evaluate 方法

public class MyUDF  extends UDF{

    public Text evaluate(final Text s) {

        if (null == s) {

            return null;

        }

        //返回大写字母        return new Text(s.toString().toLowerCase());

    }

}

2、函数使用方式1-临时函数

1、将我们的项目打包，并上传到hive的lib目录下

2、添加我们的jar包

将jar包上传到 /export/server/hive-2.1.0/lib目录，并重命名我们的jar包名称

cd /export/server/hive-2.1.0/lib

mv original-day_10_hive_udf-1.0-SNAPSHOT.jar my_lower.jar

3、hive的客户端添加我们的jar包

hive>add jar /export/server/hive-2.1.0/lib/my_lower.jar

4、设置函数与我们的自定义函数关联-临时函数

hive>create temporary function my_lower as 'cn.it.udf.MyUDF';

5、使用自定义函数

hive>select my_lower('abc');

3、函数使用方式2-永久函数

1. 把自定义函数的jar上传到hdfs中.

hadoop fs -mkdir /hive_func

hadoop fs -put my_lower.jar /hive_func  

2. 创建永久函数

hive>  create function my_lower2 as 'cn.it.udf.MyUDF' using jar 'hdfs://node1:8020/hive_func/my_lower.jar';

3. 验证

hive> select my_lower2("Hello World");

三、自定义UDTF

1、需求

自定义一个UDTF，实现将一个任意分隔符的字符串切割成独立的单词,例如:

源数据：

"zookeeper,hadoop,hdfs,hive,MapReduce"

目标数据:

zookeeper

hadoop

hdfs

hive

MapReduce

2、代码实现

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;

import org.apache.hadoop.hive.ql.metadata.HiveException;

import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;

import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;

import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;

import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;

import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;



import java.util.ArrayList;

import java.util.List;

import java.util.function.ObjDoubleConsumer;



public class MyUDTF extends GenericUDTF {

    private final transient Object[] forwardListObj = new Object[1];



    @Override

    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {

        //设置列名的类型

        List<String> fieldNames = new ArrayList<>();

        //设置列名

        fieldNames.add("column_01");

        List<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>()  ;//检查器列表



        //设置输出的列的值类型

        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

         

        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);



    }



    @Override

    public void process(Object[] objects) throws HiveException {

        //1:获取原始数据

        String args = objects[0].toString();

        //2:获取数据传入的第二个参数，此处为分隔符

        String splitKey = objects[1].toString();

        //3.将原始数据按照传入的分隔符进行切分

        String[] fields = args.split(splitKey);

        //4:遍历切分后的结果，并写出

        for (String field : fields) {

            //将每一个单词添加值对象数组

            forwardListObj[0] = field;

            //将对象数组内容写出

            forward(forwardListObj);

        }



    }



    @Override

    public void close() throws HiveException {



    }

}

3、添加我们的jar包

将打包的jar包上传到node3主机/export/data/hive-2.1.0/lib目录,并重命名我们的jar包名称

cd /export/data/hive-2.1.0/lib

mv original-day_10_hive_udtf-1.0-SNAPSHOT.jar my_udtf.jar

hive的客户端添加我们的jar包,将jar包添加到hive的classpath下

hive> add jar /export/server/hive-2.1.0/lib/my_udtf.jar;

4、创建临时函数与开发后的udtf代码关联

hive>create temporary function my_udtf as 'cn.itcast.udtf.MyUDTF';

5、使用自定义udtf函数

hive>select my_udtf("zookeeper,hadoop,hdfs,hive,MapReduce",",") word;

📢博客主页：https://lansonli.blog.csdn.net
📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
📢本文由 Lansonli 原创，首发于 CSDN博客🙉
📢大数据系列文章会每天更新，停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨

Lanson的博客

三帮大数据

Hive

大数据Hive（八）：Hive自定义函数

Lanson 发表于2021-11-14 08:58:57 浏览881 评论0

系列历史文章

前言

Hive自定义函数

一、概述

1、UDF（User-Defined-Function）

2、UDAF（User-Defined Aggregation Function）

3、UDTF（User-Defined Table-Generating Functions）

二、自定义UDF

1、代码编写