designetwork

ネットワークを軸としたIT技術メモ

ログ可視化-Fluentd

FluentdでIPアドレスから名前解決してホスト名フィールドを追加する(fluent-plugin-resolv)

こちらの記事でHerokuのアクセスログ (はてなブログに仕込んだJavaScript) を収集したが、単純なパースでアクセス元はIPアドレスでの表示となっている。 designetwork.hatenablog.com ログから知りたいことの一つとして「だれ・どこからアクセスされているか…

Herokuのアクセスログを自前のFluentdで収集する

Herokuでは各種サービス (Add-ons) が組み込まれており、ログ収集関連も豊富に揃っている。Treasure Data のサービスも提供されているが、Hadoopでの解析までを含めたクラウドサービスのため有償で、$5,000/monthと、個人で気軽には使用できない。 これらはT…

Beats(Filebeat)のログをFluentdで受け取りtagルーティングする

Beatsはバッファ・再送機能(確認応答)を持つ軽量なログシッパーで、ログの発生元となるサーバーにインストールすることにより、Elasticsearchでのログ解析を容易にする。 普段はFluentd(td-agent)をメインで使用しているのだが、ログ発生元のサーバにtd-agen…

Fluentd(td-agent)でCisco ASAのFWログを可視化する

ログ収集ツールとして人気の高いFluentd(td-agnet)でCisco ASAのFWログを可視化する。Fuentdで受け取ったログはElasticSearchでインデックスしKibanaで可視化する。 Fluentdプラグインと設定 Fluentdのプラグインで既に作成していた方がいたので使ってみる。…