日志收集流程

對于日志收集的客戶端，其work pipeline通常包括三個過程：input，process，output。

專注于為中小企業提供網站設計、做網站服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業費縣免費做網站提供優質的服務。我們立足成都，凝聚了一批互聯網行業人才，有力地推動了上1000+企業的穩健成長，幫助中小企業通過網站建設實現規模擴充和轉變。

• input： 適配各類日志接入源，目前logtail支持文本文件、syslog（tcp流式）兩種形式數據寫入。
• process：自定義日志處理邏輯，常見的有：日志切分、日志編碼轉換、日志結構化解析、日志過濾等等。
• output：定義日志輸出，例如logtail以http協議寫數據到日志服務。

今天要介紹logtail在日志處理階段的兩個新功能：轉碼、過濾

日志轉碼

日志服務限制數據的字符編碼為utf-8，這也是logtail在發送數據階段對于字符編碼的要求。

但可能一些較老的應用組件在處理中文的時候，會打印gbk編碼的數據到日志文件。

這種情況下，你可以在logtail配置的高級選項中，選擇日志文件編碼為”gbk“。那么，logtail在采集日志時，會對日志內容先做gbk到utf-8的編碼轉換，再進行后續處理。

logtail目前支可以支持utf-8和gbk兩種文件編碼格式。對于gbk格式，logtail使用linux系統的iconv api，編碼轉換過程中會額外消耗機器計算資源。

問：如何判斷我的gbk日志文件是否可以通過logtail收集？
答：在linux shell下使用iconv命令進行轉碼測試，假設日志文件名為gbk.log，執行命令：成都服務器托管

如果執行成功則說明文件編碼是gbk；如執行失敗（類似iconv: illegal input sequence at position 2743錯誤），則說明文件不是合法的gbk編碼，無法通過logtail做編碼轉換，請嘗試調整應用輸出的日志文件編碼格式為utf-8。

日志過濾

舉一個web服務器的例子，nginx每時每刻接收大量請求，并在access.log記錄這些請求：成都服務器托管

對于問題調查的場景，http 200請求的日志量通常是巨大的，如果我們希望降低日志存儲的成本，只上傳發生異常的請求日志，應該怎么來做呢？

在今天，你可以打開logtail配置的高級選項，設置過濾器來解決數據過濾的問題。

如上圖所示，分別對url字段和status字段設置了兩個過濾器。指定字段key存在且value符合正則表達式的日志會被保留。

定義多個過濾器的時候，判斷條件是“與”的關系，滿足所有過濾器設置的日志是合法的，否則被丟棄。

對于一條日志，當url字段與"(posts.）|(gets.)"匹配成功且status字段與"[345]d+"匹配成功的時候（只采集post、get請求且狀態碼非200的日志），logtail將該日志上傳至日志服務，如下圖所示：成都服務器托管

如果設置過濾器的字段名在日志里找不到，那么這條日志也是不合法的，需要被丟棄。默認情況下，用戶沒有任何過濾器設置的情況下，所有被logtail讀取并解析成功的日志數據都會寫入日志服務。

實例配置：成都服務器托管

只收集匹配到 topic 為 action 或者 plugin 的日志

更多關于阿里云日志服務日志過濾器配置技術文章請查看下面的相關鏈接

原文鏈接：https://www.cnblogs.com/weifeng1463/p/10577272.html

分享標題：阿里云日志服務日志過濾器配置
轉載來源：http://www.2m8n56k.cn/article22/chgjc.html

成都網站建設公司_創新互聯，為您提供定制網站、軟件開發、電子商務、定制開發、域名注冊、微信小程序

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯