【LogsInsights】parseとstatsでログ解析を捗らせよう

みなさまはLogsInsightsで
ログ解析をされますでしょうか?
そのなかで、parseコマンドを使っていますでしょうか。

AWS基盤のシステムでログ調査を行う際、
LogsInsightsを使うことが多いと思います。

ログ内容はログ設計次第で
かなり見やすさが変わるものかと思います。

すべてが見やすいログ設計であると
解析作業をする身としては嬉しいです。
が、そういうわけにもいかないです。
もちろん、システムによっては少々解析しにくいログも存在しています。

余談ですが、json形式で出力されているログはデータとして扱いやすいけど、シンプルな文字列のみのログは解析目線だと扱いにくいなと思います。

そこで今回は、LogsInsightsで
シンプルな文字列ログを解析するのに役立つコマンドを
サンプル付きで紹介していきます。

parseコマンドとstatsコマンドってなにもの？

クエリコマンドに関する説明は
以下の公式ドキュメントで紹介されています。

• CloudWatch Logs Insights のクエリ構文

その中でparseコマンドとstatsコマンドについては、
それぞれ以下のように説明されています。

• stats
  • stats を使用して、ログフィールド値で集約統計を計算します。
• parse
  • parse を使用して、ログフィールドからデータを抽出し、クエリで処理できるエフェメラルフィールドを作成します。

CloudWatch Logs Insights のクエリ構文

文章を読むだけじゃイメージ沸かない、という方…。私もそうでした。

なので自分の中で噛み砕いで実践的に
理解した内容をアウトプットしたいと思います。

サンプルログを使ってparseとstatsの実例を解説します

例えば死活監視として定期的に
HTTPステータスを拾っているアプリがあるとします。
そのアプリケーションは
下記のようなログメッセージを出力しています。

このログ文字列をパターン別に解析してみようと思います。

parseコマンドで文字列を分割する

まずログ文字列を集計可能な情報単位に分割したいです。
そのために、parseコマンドを使います。

先ほどのサンプルログを
情報単位に分割するためには、
下記クエリを実行します。

parse @message '[*] id:*, url:*, http:*, msg:*' as result, id, url, http_status, message
| display result, id, url, http_status, message

クエリ①出力結果

今回しれっと使ったdisplayコマンドは
公式ドキュメントで下記の通り解説されています。
本記事でも今後度々活用します。

• display
  • display を使用して、クエリ結果の特定のフィールドを表示します。

CloudWatch Logs Insights のクエリ構文

特定の@messageだけparseしたい場合

ログにはparseしたい文字列以外の
フォーマットも混ざっているかもしれません。
例えば下記のように、開始と終了が記録されているログがあるとします。

もしこのようなログの中で
特定のメッセージのみparseしたい場合は、
filterコマンドを付け足しましょう。
下記はfilterコマンドの条件を使用したサンプルになります。

filter @message =~ /(\[OK\]|\[NG\])/
| parse @message '[*] id:*, url:*, http:*, msg:*' as result, id, url, http_status, message
| display result, id, url, http_status, message

クエリ②出力結果

filterで絞り込んだので、クエリ①と同じ結果が出力されるようになりました。

statsコマンドで分割した情報を集計する

無事、parseコマンドで文字列から
情報を分割し抽出できるようになりました。
この抽出した情報をstatsコマンドを使ってパターン別に集計してみようと思います。

HTTPステータス別の監視結果数を集計したい

まずはシンプルにHTTPステータス別の集計を実施したいと思います。

parse @message '[*] id:*, url:*, http:*, msg:*' as result, id, url, http_status, message
| stats count(*) by http_status

クエリ③出力結果

一時間ごとの監視結果を単一のHTTPステータス別に集計したい

先ほどまでのクエリ①〜③では
クエリ上での条件で時間指定を行なっていないため、
LogsInsights側の指定時間範囲内で集計が行われていました。

これを、傾向や推移を確かめるために一時間単位の集計クエリへ変更したいと思います。

まずは特定の単一HTTPステータスで一時間単位の集計クエリを書いてみます。

parse @message '[*] id:*, url:*, http:*, msg:*' as result, id, url, http_status, message
| filter http_status = 200
| stats count(*) by bin(1h)

parse @message '[*] id:*, url:*, http:*, error_no:*, msg:*' as result, id, url, http_status, message
| stats sum(http_status = 200) by bin(1h)

クエリ④出力結果

一時間ごとの監視結果を複数のHTTPステータス別に集計したい

次に、単一HTTPステータスの場合の集計クエリを応用して、
複数のHTTPステータスをまとめて集計したい場合のクエリを書いてみます。

こちらはクエリの書き方によって集計条件を縦軸にまとめる方法と、
集計条件を縦軸と横軸にわけてまとめる方法がありますので、
それぞれ記載していきます。

集計条件を全て縦軸に収める場合

まずは、集計条件を全て縦軸に収めても構わないクエリです。

parse @message '[*] id:*, url:*, http:*, msg:*' as result, id, url, http_status, message
| stats count(*) as count_num by http_status, bin(1h) as bin_1h
| sort bin_1h, http_status

クエリ⑤出力結果

出力結果の列の並び順を調整したい場合はdisplayコマンドを使いましょう。
例えば、上記のクエリにdisplayコマンドを指定して列を入れ替えるだけでも見やすさが変わってくると思います。

parse @message '[*] id:*, url:*, http:*, msg:*' as result, id, url, http_status, message
| stats count(*) as count_num by http_status, bin(1h) as bin_1h
| sort bin_1h, http_status
| display bin_1h, http_status, count_num

このクエリの場合の出力結果は下記に変わります。

集計条件を縦軸と横軸にわける場合

では、クエリを少し書き換えて
マトリクス表のような出力結果を
アウトプットしようと思います。

parse @message '[*] id:*, url:*, http:*, msg:*' as result, id, url, http_status, message
| stats
  sum(http_status = 200) as count_200,
  sum(http_status = 404) as count_404,
  sum(http_status = 500) as count_500 by http_status, bin(1h) as bin_1h
| sort bin_1h, http_status
| display bin_1h, count_200, count_404, count_500

クエリ⑥出力結果

URL別にHTTPステータスを集計したい

先ほどまでのクエリでは、
HTTPステータスのみを集計していました。
これを、さらにURL別に集計したいと
なった場合のパターンを見ていきたいと思います。

parse @message '[*] id:*, url:*, http:*, msg:*' as result, id, url, http_status, message
| stats
  sum(http_status = 200) as count_200,
  sum(http_status = 404) as count_404,
  sum(http_status = 500) as count_500 by url

クエリ⑦出力結果

一時間ごとに特定URLのHTTPステータスを集計したい

では、URL別の集計クエリも傾向や推移を確かめるために
一時間単位の集計クエリに変更したいと思います。

parse @message '[*] id:*, url:*, http:*, msg:*' as result, id, url, http_status, message
| stats
  sum(http_status = 200) as count_200,
  sum(http_status = 404) as count_404,
  sum(http_status = 500) as count_500 by url, bin(1h) as bin_1h
| sort bin_1h, http_status
| display bin_1h, url, count_200, count_404, count_500

クエリ⑧出力結果

最後に

いかがでしたでしょうか?

LogsInsightsのクエリは
公式ドキュメントを読んでいても
どことなく応用的に使えなかったため、
ちゃんと時間をかけて踏み込もうとしないと
なかなか理解力が深まらないなと感じました。

本記事がLogsInsightを使ったログ調査を
もっと捗らせたい方々の参考になりましたら幸いです。