Hive中怎么通過外部表操作Hbase數(shù)據(jù)，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、重慶小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了開福免費建站歡迎大家使用！

概述：

HBase：

    查詢效率比較高，常為實時業(yè)務(wù)提供服務(wù)，但是其查詢方式比較單一，只能通過row方式get單條數(shù)據(jù)，或者通過scan加過濾器的方式掃描數(shù)據(jù)表獲取數(shù)據(jù)。

Hive:

    hive用來存儲結(jié)構(gòu)化數(shù)據(jù)，常用來搭建數(shù)據(jù)倉庫作為離線分析的數(shù)據(jù)存儲，支持HQL操作，但是對于復(fù)雜HQL都會轉(zhuǎn)化成mapreduce任務(wù)，執(zhí)行比較慢。

    有時候我們數(shù)據(jù)存在HBase中，但是需要通過sql語句來操作hbase表數(shù)據(jù)，我們一般使用Hive外部表操作HBase數(shù)據(jù)。

大體步驟如下：

1.拷貝依賴包

    將Hive操作HBase依賴的幾個包拷貝到Hive安裝目錄下的lib下（每個hive節(jié)點都要執(zhí)行拷貝）：

  /usr/lib/hive/lib/zookeeper.jar; 

   /usr/lib/hive/lib/hbase.jar; 

  /usr/lib/hive/lib/hive-hbase-handler-X.X.X.jar 

   /usr/lib/hive/lib/guava-11.0.2.jar;

2.HBase操作

登錄hbase shell控制臺，新建hbase表ljs:student(ljs是命名空間，student是表名）

執(zhí)行命令：

create_namespace 'ljs'

 create 'ljs:student','info'        

查看表結(jié)構(gòu)：

 !desc  'ljs:student'

向HBase表插入數(shù)據(jù)：

    put 'ljs:student','1001','info:name','ljs1001'

    put 'ljs:student','1001','info:age','21'

    put 'ljs:student','1001','info:score','89'

    put 'ljs:student','2001','info:name','ljs1002'

    put 'ljs:student','2001','info:age','24'

    put 'ljs:student','2001','info:score','78'

查看表數(shù)據(jù)：

3.Hive操作

執(zhí)行/usr/hdp/2.6.3.0-235/hive/bin/hive登錄到hive控制臺

新建hive數(shù)據(jù)表：

create external table hive_student(user_no string,user_name string,user_age string,user_score string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties  ("hbase.columns.mapping" = ":key,info:name,info:age,info:score") tblproperties("hbase.table.name" = "ljs:student");

查詢hive表，可查看hbase映射表中對應(yīng)的數(shù)據(jù)：

至此Hive操作HBase表數(shù)據(jù)完成。

注意：

1.hive中建hbase映射表時，建表語句中關(guān)鍵字“hbase.columns.mapping”后面的對應(yīng)映射字段要與HBase表字段大小寫一致。否則可能映射失敗。

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進(jìn)一步的了解或閱讀更多相關(guān)文章，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。

文章標(biāo)題：Hive中怎么通過外部表操作Hbase數(shù)據(jù)
本文URL：http://www.2m8n56k.cn/article22/jgecjc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、靜態(tài)網(wǎng)站、動態(tài)網(wǎng)站、網(wǎng)站改版、網(wǎng)站導(dǎo)航、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)