Last year I had a chance to talk about the internals of our service: Pathtraq at Percona Performance Conference (slides), in which I described the methods we use to compress the URLs in our database to below 40% of the original size, however had not released the source code since then.  I am sorry for the delay, but have finally uploaded the code to github.com/kazuho/url_compress.

It is generally considered difficult to achieve high ratio for compressing short texts.  This is due to the fact that most compression algorithms are adaptive, i.e., short texts reach their end before the compressors learn how to encode them …

本ブログでも何度か取り上げたことのあるあのSPIDERストレージエンジンがさらにパワーアップして便利になった！８月にリリースされたバージョン2.22では次の２つの強化が行われている。 HA機能の追加（データノードの冗長化） LinuxおよびWindows用ビルド済みMySQLパッケージの配布

…

High Availability MySQL Cookbook
Alex Davies

MySQL ClusteringをMySQLのHarrison Fiskと書いた、Alex Daviesの新刊本を入手しました。
全部で８章からなる本書は、前半(1〜4章)はMySQL …

Spiderストレージエンジンのバージョン 2.23(beta)とVartical Partitioningのバージョン 0.12(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
Spider
・サーバパラメータに「spider_udf_ct_bulk_insert_interval」「spider_udf_ct_bulk_insert_rows」を追加しました。

Vertical Partitioning
　今回はbugfixリリースです。

…

MySQL 5.1 Plugin Development
Andrew Hutchings,Sergei Golubchik

元MySQLのAndrewとSergeiが書いた首記の本を購入しました。
Linux/Mac OS X, Windowsのコンパイル(UDF)から入り、ベーシックなデーモンプラグイン、Information Scemaを実装するCapter 4,5, Parser Pluginを実装するCapter 6, 7を経て、最後はCapter 8〜10を使ってストレージエンジンの実装をします。

ストレージエンジンの実装は固定文字列を固定行数SELECTに対して返すA read-only storage engineから始まり、最後はインデックスを実装するTOCAB storage …

InnoDBはクラスタインデックスという構造になっている。今日はクラスタインデックスがどういうことかということを、皆さんに理解して頂きたい。もっとも理解して頂きたいポイントは「セカンダリインデックスのリーフノードには主キーの値が含まれている」ということだ。

主キーの構造InnoDBの主キーは次の図のように「データが主キーのリーフノードに含まれる」という構造になっている。このような構造をクラスタインデックスという。 …

groongaストレージエンジンは現在 MySQL 5.1 にしか対応してないようですが、MySQL 5.5.6-rc に入れてみました。

環境は CentOS 5.5 x86_64 です。

用意するもの

• groonga のソース: goonga-1.0.2.tar.gz http://groonga.org/download/ より
• groongaストレージエンジンのソース: groonga-storage-engine-0.2.tar.gz http://github.com/mroonga/mroonga/downloads より
• …

InnoDB関連でよくある質問のひとつに「テーブルのメンテナンスは何をすればいいんですか？」というものがある。InnoDBはMySQL 5.5でデフォルトストレージエンジンとなるため、InnoDBのテーブルメンテナンス計画を立ようと思う機会も増えることだろう。そこで、今日はInnoDBのテーブルメンテナンスの各種方法となぜそうしなければいけないかという理由を解説しようと思う。

ANALYZE TABLEテーブルメンテナンスの代名詞といえば、インデックス統計情報の更新ではなかろうか。運用を続けるうちに、知らず知らずインデックス統計情報が狂ってしまい、思うような性能が出ない。RDBMSにはそのような問題がつきものであるが、InnoDBの場合、ANALYZE …

オトコも熱く語るPBXT! 試す方法には次の三つの方法があります。

(1) ソースからコンパイルする
(2) XAMPPを利用する
(3) MariaDBを利用する

Windowsでソースからコンパイルするのは敷居が高く、また(2)ではなぜかPBXTが見当たらない(?!)ため、今回は(3)の方法で試してみます。以下からWindowsバイナリをダウンロードします。

MariaDB:Downloads

…

MySQLのVPストレージエンジンとSPIDERストレージエンジンを使って、任意のテーブルを別ホストのMySQLに簡単に移行するスクリプトを書きました。

※ただしPRIMARY KEYがあるものに限る

gist: 571569 - GitHubに置いてあるスクリプトを落としてきて実行権限を付与しておく。

wget http://gist.github.com/raw/571569/cb624c24fac767188b4ee9e4925d3f7bfd4dc443/gistfile1.pl -O mygrate_to
chmod +x mygrate_to

移行先ホストに空のテーブルをつくる。

mysqldump -u kamipo -h old-db-host --opt --no-data old_db table1 table2 table3 |
mysql -u kamipo -h new-db-host -v new_db

移行元ホストのVPとSPIDERを使って移行先ホストにデータをコピーする。

 …