前言

幾乎任何規模的公司，每時每刻都在產生大量的數據，收集業務日志數據，供離線和在線的分析系統使用。處理這些日志需要特定的日志系統，一般而言，這些系統需要具有高可用性、高可靠性和可擴展性。

創新互聯公司堅持“要么做到，要么別承諾”的工作理念，服務領域包括：成都網站制作、網站設計、企業官網、英文網站、手機端網站、網站推廣等服務，滿足客戶于互聯網時代的盱眙網站設計、移動媒體設計的需求，幫助企業找到有效的互聯網解決方案。努力成為您成熟可靠的網絡建設合作伙伴！

Flume是一個分布式、可靠的和高可用的海量日志采集，聚合和傳輸的系統。支持在系統中定制各類數據發送方，用于收集數據;同時，Flume 提供對數據進行簡單處理，并寫到各種數據接受方(可定制)的能力。Flume 初始的發行版本目前被統稱為Flume OG(original generation) ，屬于Cloudera.但隨著Flume功能的擴展，Flume OG代碼工程臃腫，核心組件設計不合理、核心配置不標準等缺點暴露出來，尤其是在Flume OG的最后一個發行版本0.94.0中，日志傳輸不穩定的現象尤為嚴重。為了解決這些問題，2011 年10月22日,Cloudera完成了Flume-728，對Flume進行了里程碑式的改動：重構核心組件、核心配置以及代碼架構，重構后的版本統稱為Flume NG (next generation) ;改動的另一原因是將Flume納入Apache旗下，Cloudera Flume改名為Apache Flume。

Flume構建高可用、可擴展的海量日志采集系統

第1章給出了Apache Hadoop. Apache HBase的基本介紹。本章只是為了向讀者介紹Hadoop. HBase 和它們內部的一些細節。 如果讀者已經熟悉Hadoop和HBase,這章可以跳過。

第2章介紹了Flume主要的組件和配置，也解釋了如何部署Flume以從數據生成服務器推送數據到存儲和索引系統。

第3章、第4章、第5章和第6章解釋了Flume內置的不同種類的Source，Channel 和Sink以及編寫自定義插件以定制Flume接收、修改、格式化和寫數據的方式。

第7章討論從你的應用程序發送數據到Flume Agent的不同方式。本章主要是為了寫推送數據到FlumeAgent的應用程序的開發人員。

第8章討論如何設計、部署和監控Flume部署。

限于平臺篇幅原因，同時也為了大家更好的閱讀，小編把Flume相關的資料都打包整理好了，有感興趣的程序員朋友可以幫忙轉發文章后，關注私信回復【學習】來獲取

本文題目：大廠架構師傾心之作：Flume構建高可用、可擴展的海量日志采
網站鏈接：http://www.2m8n56k.cn/article22/pecjjc.html

成都網站建設公司_創新互聯，為您提供網站建設、網站制作、用戶體驗、服務器托管、軟件開發、網站導航

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯