將 AWS ECS 的 log 導向 Splunk

花了好多天的時間在研究，然後終於稍微搞清楚想要將 AWS ECS 上的應用程式的 log 導去 Splunk 時，需要注意的地方有哪些，以及它導出時是怎麼做的。不過在紀錄之前要先提一下，這篇當中不會提到如何建置 Splunk 服務，因為在我的狀況中 Splunk 是其他公司內的團隊已經建好的。

Logback 輸出 JSON 格式的 log

Logback 預設通常是會輸出一行一行純文字的 log，不過如果想要輸出 JSON 格式的話，也有看起來應該是第三方貢獻給 logback 的 extension 可以使用。

Maven 設定

<properties>
	<slf4j.version>1.7.26</slf4j.version>
	<logback.version>1.2.3</logback.version>
	<logback.contrib.version>0.1.5</logback.contrib.version>
	<jackson.version>2.9.9</jackson.version>
</properties>

<dependencies>
	<dependency>
		<groupId>org.slf4j</groupId>
		<artifactId>slf4j-api</artifactId>
		<version>${slf4j.version}</version>
	</dependency>
	<dependency>
		<groupId>ch.qos.logback</groupId>
		<artifactId>logback-core</artifactId>
		<version>${logback.version}</version>
	</dependency>
	<dependency>
		<groupId>ch.qos.logback.contrib</groupId>
		<artifactId>logback-jackson</artifactId>
		<version>${logback.contrib.version}</version>
	</dependency>
	<dependency>
		<groupId>ch.qos.logback.contrib</groupId>
		<artifactId>logback-json-classic</artifactId>
		<version>${logback.contrib.version}</version>
	</dependency>
	<dependency>
		<groupId>com.fasterxml.jackson.core</groupId>
		<artifactId>jackson-databind</artifactId>
		<version>${jackson.version}</version>
	</dependency>
</dependencies>

除了 SLF4J 和 logback 本身以外，還需要 logback-json-classic，以及因為它使用 Jackson 來做 JSON 處理，所以需要 logback-jackson 和 jackson。

logback.xml 設定

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
	<appender name="JSON_STDOUT" class="ch.qos.logback.core.ConsoleAppender">
		<encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
			<layout class="ch.qos.logback.contrib.json.classic.JsonLayout">
				<timestampFormat>yyyy-MM-dd'T'HH:mm:ss.SSSX</timestampFormat>
				<timestampFormatTimezoneId>Etc/UTC</timestampFormatTimezoneId>
		
				<jsonFormatter
					class="ch.qos.logback.contrib.jackson.JacksonJsonFormatter">
					<prettyPrint>true</prettyPrint>
				</jsonFormatter>
			</layout>
		</encoder>
	</appender>

	<root level="ALL">
		<appender-ref ref="JSON_STDOUT" />
	</root>
</configuration>  

這裡很單純就設定了輸出時要用 JSON，並且其中的時間格式應該要符合我設定的格式，然後要求它輸出時要 pretty print（做好縮排等格式化）。

輸出範例

{
  "timestamp" : "2019-09-28T13:04:25.013Z",
  "level" : "TRACE",
  "thread" : "main",
  "logger" : "test.App",
  "message" : "test writing log.",
  "context" : "default"
}

參考資料

1. JSON · qos-ch/logback-contrib Wiki · GitHub
2. How to Log in JSON with Logback

Logback 的 Log 篩選設定

平常比較容易遇到的有幾種案例：

1. 我想要 logback 輸出所有的 log，但特定某些 package 想要隱藏 DEBUG 和 TRACE
2. 我想要 logback 只輸出 INFO 以上的 log，但特定某些 package 想要輸出所有 log
3. 我想要 logback 只輸出 INFO 以上的 log，但特定某些 package 想要輸出所有 log，而且某個 package 的 INFO 以上 log 要輸出到別的 appender

之前開發時，大多用到的是第一種，但偶而想要第二和第三種時，花了不少時間才調整出來
最後發現一開始對設定的認知其實有點不太正確。

Logback 輸出 Log 到 CloudWatch

本來沒有特別使用 CloudWatch 的習慣
不過應用程式放在 VM 裡，如果不控管的話，Log 總有一天會把 VM 硬碟塞爆
而如果去設定控制大小，則又會有關鍵 Log 可能被洗掉的問題。
剛好最近寫不少 AWS Lambda 的程式，覺得 Log 丟去 CloudWatch 其實也還蠻方便的 XD
就找了一下該怎麼做這件事。

SLF4J 與其他 logging framework 實作綁定與橋接的關聯

使用 SLF4J 的時候，同時使用很多開源函式庫，會很容易導致各種 log 跑不出來或者 dependency 衝突的問題
本質上是因為不同開源函式庫，各自使用了不同的 logging framework
因而導致了 log 被輸出到沒有被設定的實作，或者相同的實作被重複綁定等等。

自定義 Logback 的 Encoder

想要試著自定義一個可以產出 JSON 格式的 log
雖然之前已經有 PO 過 logstash 提供的 Encoder，就可以達到把 log 輸出成 JSON 的目的
不過基於某些無聊的理由，還是想要自己寫看看 XD。

SLF4J 與 Logback 的運作流程

最近因為工作需要，開始在研究如何自定義 logback 的 Appender
不過在開始嘗試實作之前，因為想要知道整個 slf4j 到 logback 等的整個執行流程為何
因此就做了這篇的簡單的研究。

(書籤) logback

參考資料

logback

1. 读logback源码系列文章

logback appender

1. Logback more appenders
2. Logback Extensions

叢集環境的 logging（三）：以 JSON 格式輸出 log

在把叢集中的每個 Application 的 log 都集中起來以後，下一個遇到的問題就是如何分析？
收集起來的 log 數量通常不小，而且各個不同節點的 log 全混在一起
要如何有效率一點地解析他們呢？

實務上，比較容易想像的方式大概就是把 log 導到某個能夠做 log 分析的系統上
例如 ELK 架構（Elasticsearch + Logstash + Kibana）。
不過要讓 Logstash 能夠簡單地把集中起來的 log 全部帶走，最好還是能讓 log 都以 JSON 格式輸出
這樣在 Logstash 那邊寫設定檔時，會比較簡單。

叢集環境的 logging（二）：辨識集中化 log 的來源

在前篇文章中，利用了 logback 的 SocketAppender 和 Receiver 功能，將不同來源的 logs 集中到一個地方
但在沒有特別設計的情況下，其實我們通常會分不出來哪個 log 來自哪裡。
不過這個問題在 logback 裡已經被考慮過了，可以利用 Mapped Diagnostic Context [1-2] 來實現。

叢集環境的 logging（一）：透過 slf4j + logback 集中化 log

在叢集環境中，應用程式往往會同時存在在很多個節點上
每個節點的 log 都各自輸出到自己的 console，或者可能輸出成某個檔案，但都四散在每個應用程式自己的節點上。
實務上如果想要觀察 log，通常會希望最起碼 log 可以集中到某個地方
這個需求，如果是使用 logback 作為 logging framework 時，可以透過使用 SocketAppender 和 Receiver 來達成。

使用 logback 時，在 Jetty 上忽略 Jetty 產生的 log

在部署專案時，嘗試了使用 slf4j + logback
不過部署到 Jetty 上就發現 Jetty 瘋狂地印出 Jetty 自己運行時的 debug log
變成要在 log 海中找到自己的 application log 非常花時間。