經常有學習大數據的小伙伴問小千，hive應該如何去自定義函數？小千今天就來給大家分享一下hive自定義函數的教程，繼續往下看。
一、自定義函數
1 為什么需要自定義函數
hive的內置函數滿足不了所有的業務需求。
hive提供很多的模塊可以自定義功能，比如：自定義函數、serde、輸入輸出格式等。
2 常見自定義函數有哪些
UDF：用戶自定義函數，user defined function。一對一的輸入輸出。（最常用的）。
UDTF：用戶自定義表生成函數。user defined table-generate function.一對多的輸入輸出。lateral view explode
UDAF：用戶自定義聚合函數。user defined aggregate function。多對一的輸入輸出 count sum max。
二、自定義函數實現
1 UDF格式
先在工程下新建一個pom.xml,加入以下maven的依賴包 請查看code/pom.xml
定義UDF函數要注意下面幾點:
繼承org.apache.hadoop.hive.ql.exec.UDF
重寫evaluate()，這個方法不是由接口定義的,因為它可接受的參數的個數,數據類型都是不確定的。Hive會檢查UDF,看能否找到和函數調用相匹配的evaluate()方法
1.1 自定義函數第一個案例
2 函數加載方式
2.1 命令加載
這種加載只對本session有效
# 1、將編寫的udf的jar包上傳到服務器上，并且將jar包添加到hive的class path中
# 進入到hive客戶端,執行下面命令
add jar /hivedata/udf.jar
# 2、創建一個臨時函數名,要跟上面hive在同一個session里面：
create temporary function toUP as 'com.qf.hive.FirstUDF';
3、檢查函數是否創建成功
show functions;
4. 測試功能
select toUp('abcdef');
5. 刪除函數
drop temporary function if exists tolow;
2.2 啟動參數加載
(也是在本session有效，臨時函數)
2.3 配置文件加載
通過配置文件方式這種只要用hive命令行啟動都會加載函數
3 UDTF格式
UDTF是一對多的輸入輸出,實現UDTF需要完成下面步驟
繼承org.apache.hadoop.hive.ql.udf.generic.GenericUDF，
重寫initlizer（）、getdisplay（）、evaluate()。
執行流程如下:
UDTF首先會調用initialize方法，此方法返回UDTF的返回行的信息（返回個數，類型）。
初始化完成后，會調用process方法,真正的處理過程在process函數中，在process中，每一次forward()調用產生一行；如果產生多列可以將多個列的值放在一個數組中，然后將該數組傳入到forward()函數。
最后close()方法調用，對需要清理的方法進行清理。
3.1 需求:
把"k1:v1;k2:v2;k3:v3"類似的的字符串解析成每一行多行,每一行按照key:value格式輸出
3.2 源碼
自定義函數如下:
3.3 打包加載
對上述命令源文件打包為udf.jar,拷貝到服務器的/hivedata/目錄
在Hive客戶端把udf.jar加入到hive中,如下:
add jar /hivedata/udf.jar;
3.4 創建臨時函數:
在Hive客戶端創建函數:
3.5 測試臨時函數
select parseMap("name:zhang;age:30;address:shenzhen")
結果如下:
4 UDAF格式
用戶自定義聚合函數。user defined aggregate function。多對一的輸入輸出 count sum max。定義一個UDAF需要如下步驟:
UDF自定義函數必須是org.apache.hadoop.hive.ql.exec.UDAF的子類,并且包含一個火哥多個嵌套的的實現了org.apache.hadoop.hive.ql.exec.UDAFEvaluator的靜態類。
函數類需要繼承UDAF類，內部類Evaluator實UDAFEvaluator接口。
Evaluator需要實現 init、iterate、terminatePartial、merge、terminate這幾個函
這幾個函數作用如下:
函數說明init實現接口UDAFEvaluator的init函數iterate每次對一個新值進行聚集計算都會調用,計算函數要根據計算的結果更新其內部狀態terminatePartial無參數，其為iterate函數輪轉結束后，返回輪轉數據merge接收terminatePartial的返回結果，進行數據merge操作，其返回類型為boolean。terminate返回最終的聚集函數結果。
4.1 需求
計算一組整數的最大值
4.2 代碼
4.3 打包加載
對上述命令源文件打包為udf.jar,拷貝到服務器的/hivedata/目錄
在Hive客戶端把udf.jar加入到hive中,如下:
add jar /hivedata/udf.jar;
4.4 創建臨時函數:
在Hive客戶端創建函數:
3.5 測試臨時函數
select maxInt(mgr) from emp
結果如下:
最后歡迎大家添加我們的大數據技術分享交流qq群：857910996 加群找群管理免費領取大數據學習資料和項目源碼，趕緊來等你哦~~~~
京公網安備 11010802030320號