Fluentd + Elasticsearch + Kibana3を動かしてみる
Elasticsearchすげーよ、なんでいままで使ってなかったんだろう!的なツイートを見かけて、おおこれは触っておかなければ、と思い立ちました。
ElasticsearchにRESTでデータを投げ込んで、それをKibana3で見てみましたが、なんだかピンとこなかったので、みんなどうしているのかなとggってみると、ApacheログをFluentdで読んでElasticsearchに投げてKibana3で見る、っていうのをみんなチュートリアル的にやってる感じなのでそれをやってみました。
参考にしたのはこちらです。
Apache-loggen + Fluentd + Elasticsearch + Kibana = ログ検索デモ
Elasticsearchのインストール
本家サイトからzipをダウンロードして解凍したディレクトリで
|
で起動。 簡単です。
Kibana3のインストール
これまた本家サイトからzipをダウンロードして解凍したディレクトリをApacheのドキュメントルートに放り込めば動きます。
簡単です。
Fluentdのインストール
若干ハマりました。。
Fluentdはいろいろとインストールの方法があるのですが、なんとなくbrewでインストールしてみました。
で、FluentdからElasticsearchへ連携するためにfluent-plugin-elasticsearchというFluentdのプラグインを使いますのでインストールします。
fluent-plugin-elasticsearch
そしてFluentdの設定を追加します。
|
|
で、td-agentを起動します。
これで準備はできたのですが、トラブル発生。 td-agentでエラーが発生しました。
|
elasticsearchのpluginが見つからないと。。インストールしたはずなのですが。
調べてみると、Fluentdは独自のGEM_HOMEを持っていて、そこにインストールしないとダメらしいです。
|
これでtd-agentがpluginを見つけてくれました。