任意のSQLクエリで取得した結果の差分から、insert/update/deleteイベントを検知するプラグインをリリースしました。イベント検知だけでなく、レコードの内容と共にElasticsearch/Solrへ同期を行う、Outputプラグインも同封しています。

これはあえてバイナリログ(MySQLBinlogAPI)は使わずに、SQLクエリの実行結果の差分を見てinsert/update/deleteイベントを検知します。
そのため、純粋なテーブル同期だけでなく、任意のJOINやVIEWテーブルを元とした差分同期処理が実現できるのが特徴です。

…

Fluentdでログのちょっとした加工をする際に、タグの付け替えが必要です。
新しいタグを指定するか、先頭文字列の付け替えを行う手法が良く使われます。
しかしそれだけではかゆいところに手が届かず、もどかしい思いをされたことでしょう。
そんな時、タグをドットで分解した要素毎に分解して使えるプレースホルダが大活躍します。

この記事を読めば、これがなぜ今まで無かったのか不思議に感じる程です。
そう思えるほど便利な新機能、それでは早速紹介します。

プレースホルダとは

…

ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。

しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。

それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。

…

この秋には3つの勉強会でお話させて頂けることになりました。
いずれも、データベース周りのお話を行う予定です。

photo by mari ce

「MySQL Casual Talks Vol.5」

MySQL5.0(Tritonn)から5.6(mroonga)へ乗り換えた際の苦労話をお届けします。

• 開催日
  2013年10月25日（金） 19:00 - 22:00
• 会場
  日本オラクル 青山センター
• 定員
  160 人
• イベントページ
  …

グラフツールであるGrowthForecastはFluentdと組み合わせた利用で一躍有名となり、自分にとっても欠かせない存在となりつつあります。 ところがOS起動時の自動起動としたくても、公式サイトには以下の記述のみでした。

起動コマンド
$ growthforecast.pl --data-dir /home/user/growthforecast
http://kazeburo.github.io/GrowthForecast/

なんというか、ストイックすぎる・・・！
もちろん、start-growthforecast.sh的な起動スクリプトを作成し、/etc/rc.d/rc.localあたりから呼び出せば動きはしますが、自分以外の人が触るサーバだったりすると運用が引き継ぎづらいですよね。

…