MySQLのVPストレージエンジンとSPIDERストレージエンジンを使って、任意のテーブルを別ホストのMySQLに簡単に移行するスクリプトを書きました。

※ただしPRIMARY KEYがあるものに限る

gist: 571569 - GitHubに置いてあるスクリプトを落としてきて実行権限を付与しておく。

wget http://gist.github.com/raw/571569/cb624c24fac767188b4ee9e4925d3f7bfd4dc443/gistfile1.pl -O mygrate_to
chmod +x mygrate_to

移行先ホストに空のテーブルをつくる。

mysqldump -u kamipo -h old-db-host --opt --no-data old_db table1 table2 table3 |
mysql -u kamipo -h new-db-host -v new_db

移行元ホストのVPとSPIDERを使って移行先ホストにデータをコピーする。

 …

Spiderストレージエンジンのバージョン 2.22(beta)とVartical Partitioningのバージョン 0.11(beta)、BKA-for-ha_partitionのバージョン 0.3をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql
BKA-for-ha_partitionは、テーブルパーティショニングをBatched Key Access対応にするためのパッチです。
http://launchpad.net/partitionmrrformysql

今回の主な変更は以下です。
Spider
・MS …

今日はDeNA Technology Seminar #2ですが、皆さんSpiderの予習復習は大丈夫でしょうか。

Spiderのチュートリアルといえば@nippondanjiさんのエントリーを見るのが一番だと思いますが、ちょっと試してみたいときにmysqlのコンパイルから始めるのは大変なので、linux用のバイナリパッケージでさくっと環境構築しちゃいましょう。

mkdir -p ~/local/src
cd ~/local/src

wget http://downloads.mysql.com/archives/mysql-5.1/mysql-5.1.44-linux-x86_64-glibc23.tar.gz
wget http://launchpad.net/spiderformysql/spider-2.x/2.21-for-5.1.44/+download/spider-2.21-for-mysql-5.1.44-linux-x86_64-glibc23.tgz
wget …

Spiderストレージエンジンのバージョン 2.21(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・テーブルパラメータに「bka_mode」「bka_engine」を追加しました。
・サーバパラメータに「spider_bka_mode」「spider_bka_engine」を追加しました。
　これらのパラメータは、BKAもしくはIN句で大量の条件を列挙するようなケースのパフォーマンスを高めるためのものです。

また、今回からソースコードの圧縮ファイルに「mysql-5.1.44.slave-trx-retry.diff」というファイルが追加されています。
…

Spiderストレージエンジンのバージョン 2.20(beta)とVartical Partitioningのバージョン 0.10(beta)、BKA-for-ha_partitionのバージョン 0.2をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql
BKA-for-ha_partitionは、テーブルパーティショニングをBatched Key Access対応にするためのパッチです。
http://launchpad.net/partitionmrrformysql

今回の主な変更は以下です。
Spider
…

Spiderストレージエンジンのバージョン 2.19(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・Batched Key Accessに対応しました。
　この機能は現在MariaDB 5.3で「join_cache_level=6 and more」を指定することで利用可能です。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

Spiderストレージエンジンのバージョン 2.18(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
　今回はbugfixリリースです。

詳しくは、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

先日、SPIDERストレージエンジンについて2度に渡り本ブログで紹介した（その１：Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジン、その２：快適スケールアウト生活への第一歩。SPIDERストレージエンジンを使ってみよう！）が、SPIDERの作者である斯波氏は、実はもう一つ驚くべきストレージエンジンを開発している。その名も、VPストレージエンジンだ。ちょっと地味な名前だが、VPとは、Vertical …

先月、Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジンというエントリでSPIDERストレージエンジンによるスケールアウトが凄い！という話を書いた。SPIDERストレージエンジンは凄いヤツだが、ノウハウがあまりウェブ上で見つからない。唯一見つかる日本語の記事は、ウノウラボによる「国産MySQLストレージエンジン「Spider」の作者、斯波健徳氏に聞く 」だけである。SPIDERストレージエンジンは斯波氏による単独の作品であるため、斯波氏は開発だけで手いっぱいであり、使い方の紹介記事を書くことまでは手が回らないのであろう。こんな凄いストレージエンジンをドキュメントが足りないせいで使って貰えないなんて勿体ない！！

…

Spiderストレージエンジンのバージョン 2.17(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・テーブルパラメータに「semi_split_read_limit」を追加しました。
・サーバパラメータに「spider_semi_split_read_limit」を追加しました。
　これらのパラメータは、参照件数最適化用のパラメータです。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。