designetwork

ネットワークを軸としたIT技術メモ

ログ可視化

FluentdでIPアドレスから名前解決してホスト名フィールドを追加する(fluent-plugin-resolv)

こちらの記事でHerokuのアクセスログ (はてなブログに仕込んだJavaScript) を収集したが、単純なパースでアクセス元はIPアドレスでの表示となっている。 designetwork.hatenablog.com ログから知りたいことの一つとして「だれ・どこからアクセスされているか…

Herokuのアクセスログを自前のFluentdで収集する

Herokuでは各種サービス (Add-ons) が組み込まれており、ログ収集関連も豊富に揃っている。Treasure Data のサービスも提供されているが、Hadoopでの解析までを含めたクラウドサービスのため有償で、$5,000/monthと、個人で気軽には使用できない。 これらはT…

Kibana6.xのReporting CSV Export機能を試してみる

Kibanaで長らく要望されている機能である、Discoverタブでの検索結果をCSVエクスポートする機能が、Version.6からついに実装される。GAリリースが待ち遠しく、Alpha版を試してみた。 github.com Kibana 6.0.0-alpha2 is released | Elastic CSV export Did s…

Kibana5にパッチ適用しDiscoverタブからCSVエクスポートする

こちらの記事でKibanaのDiscoverタブからExportできる機能追加版をビルドしたが、正直かなり手間がかかった。 designetwork.hatenablog.com 時間が経ち、同様機能をパッチとして作成した方がいるようなので、使ってみた。 github.com Kibana Exportパッチの…

FilebeatでNon-Zero Metricsのログを出さないようにする

こちらの記事に記載した通り、Beats(Filebeat)でログをシンプルにFluentdを送っている。 designetwork.hatenablog.com その中で次のようなログが多発していることに気付いた。BeatsのMetrics監視の仕組みのようだが、安定稼働している状態では、常時発生する…

Beats(Filebeat)のログをFluentdで受け取りtagルーティングする

Beatsはバッファ・再送機能(確認応答)を持つ軽量なログシッパーで、ログの発生元となるサーバーにインストールすることにより、Elasticsearchでのログ解析を容易にする。 普段はFluentd(td-agent)をメインで使用しているのだが、ログ発生元のサーバにtd-agen…

Logstashで内容ごとに送信先を複数に振り分ける設定

Logstashでは設定したConfigは全体的に有効になるため、シンプルな設定では単一の出力設定となる。そこで、ifで項目により条件分岐させることで、複数の出力を設定できる。 前回こちらの記事で紹介した汎用的な設計を元に、Logstashからの送信先を複数に分散…

LogstashでFluentdのforest+copy同様に複数処理の設定をする

LogstashでFluentd(td-agent)のforestプラグインとcopyを組み合わせたものと同様の設定をしてみる。これにより、ログ種別、送信元が増えていっても出力設定を都度追加することなく、簡素化できる。 また、Logstashは日本語情報が少ないため、少しでも日本の…

GrafanaでElasticsearchのデータを表示する

Elasticsearchのデータ・ログ可視化ツールとしてはKibanaが用意されているが、ZABBIXなどのデータを組み合わせてGrafanaでダッシュボードを作りたいときもある。使い始めとして、GrafanaのデータソースとしてElasticsearchを連携させる設定方法を記載する。 …

Fluentd(td-agent)でCisco ASAのFWログを可視化する

ログ収集ツールとして人気の高いFluentd(td-agnet)でCisco ASAのFWログを可視化する。Fuentdで受け取ったログはElasticSearchでインデックスしKibanaで可視化する。 Fluentdプラグインと設定 Fluentdのプラグインで既に作成していた方がいたので使ってみる。…

Kibana 5でDiscoverタブの検索結果をCSVエクスポートする

Kibanaで要望されつつもなかなか実装されない機能の一つに、Discover画面からのエクスポートがある。Githubでもissueとして長期的に要望されている。 github.com その中で、次の通り機能実装版を提供してくれている方がいる。 If you are adventurous enough…