本篇文章給大家分享的是有關Kafka集群在馬蜂窩大數據平臺的優化是怎樣的，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

成都一家集口碑和實力的網站建設服務商，擁有專業的企業建站團隊和靠譜的建站技術，十余年企業及個人網站建設經驗 ,為成都近千家客戶提供網頁設計制作,網站開發,企業網站制作建設等服務,包括成都營銷型網站建設，品牌網站建設，同時也為不同行業的客戶提供成都做網站、成都網站設計的服務,包括成都電商型網站制作建設,裝修行業網站制作建設，傳統機械行業網站建設,傳統農業行業網站制作建設。在成都做網站,選網站制作建設服務商就選成都創新互聯公司。

Kafka是當下熱門的消息隊列中間件，它可以實時地處理海量數據，具備高吞吐、低延時等特性及可靠的消息異步傳遞機制，可以很好地解決不同系統間數據的交流和傳遞問題。

Kafka在馬蜂窩也有非常廣泛的應用，為很多核心的業務提供支撐。下面將圍繞Kafka在馬蜂窩大數據平臺的應用實踐，介紹相關業務場景、在Kafka應用的不同階段我們遇到了哪些問題以及如何解決、之后還有哪些計劃等。

應用場景

從Kafka在大數據平臺的應用場景來看，主要分為以下三類：

第一類是將Kafka作為數據庫，提供大數據平臺對實時數據的存儲服務。從來源和用途兩個維度來說，可以將實時數據分為業務端DB數據、監控類型日志、基于埋點的客戶端日志(H5、WEB、APP、小程序)和服務端日志。

第二類是為數據分析提供數據源，各埋點日志會作為數據源，支持并對接公司離線數據、實時數據倉庫及分析系統，包括多維查詢、實時DruidOLAP、日志明細等。

第三類是為業務方提供數據訂閱。除了在大數據平臺內部的應用之外，我們還使用Kafka為推薦搜索、大交通、酒店、內容中心等核心業務提供數據訂閱服務，如用戶實時特征計算、用戶實時畫像訓練及實時推薦、反作弊、業務監控報警等。

四個階段

早期大數據平臺之所以引入Kafka作為業務日志的收集處理系統，主要是考慮到它高吞吐低延遲、多重訂閱、數據回溯等特點，可以更好地滿足大數據場景的需求。但隨著業務量的迅速增加，以及在業務使用和系統維護中遇到的問題，例如注冊機制、監控機制等的不完善，導致出現問題無法快速定位，以及一些線上實時任務發生故障后沒有快速恢復導致消息積壓等,使Kafka集群的穩定性和可用性得受到挑戰，經歷了幾次嚴重的故障。

解決以上問題對我們來說迫切而棘手。針對大數據平臺在使用Kafka上存在的一些痛點，我們從集群使用到應用層擴展做了一系列的實踐，整體來說包括四個階段：

第一階段：版本升級。圍繞平臺數據生產和消費方面存在的一些瓶頸和問題，我們針對目前的Kafka版本進行技術選型，最終確定使用1.1.1版本。

第二階段：資源隔離。為了支持業務的快速發展，我們完善了多集群建設以及集群內Topic間的資源隔離。

第三階段：權限控制和監控告警。

首先在安全方面，早期的Kafka集群處于裸跑狀態。由于多產品線共用Kafka，很容易由于誤讀其他業務的Topic導致數據安全問題。因此我們基于SASL/SCRAM+ACL增加了鑒權的功能。

在監控告警方面，Kafka目前已然成為實時計算中輸入數據源的標配，那么其中Lag積壓情況、吞吐情況就成為實時任務是否健康的重要指標。因此，大數據平臺構建了統一的Kafka監控告警平臺并命名「雷達」，多維度監控Kafka集群及使用方情況。

第四階段：應用擴展。早期Kafka在對公司各業務線開放的過程中，由于缺乏統一的使用規范，導致了一些業務方的不正確使用。為解決該痛點，我們構建了實時訂閱平臺，通過應用服務的形式賦能給業務方，實現數據生產和消費申請、平臺的用戶授權、使用方監控告警等眾多環節流程化自動化，打造從需求方使用到資源全方位管控的整體閉環。

以上就是Kafka集群在馬蜂窩大數據平臺的優化是怎樣的，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注創新互聯行業資訊頻道。

分享標題：Kafka集群在馬蜂窩大數據平臺的優化是怎樣的-創新互聯
本文路徑：http://www.2m8n56k.cn/article34/dpogpe.html

成都網站建設公司_創新互聯，為您提供移動網站建設、面包屑導航、ChatGPT、自適應網站、軟件開發、靜態網站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯