MySQLに限った話ではないが、データベース管理システムに大量のデータを投入するのは時間が掛かり大変苦痛を伴う作業である。劇的に効能があるわけではないが、MySQLを利用しているとき、特にInnoDBを使っている場合にはデータの投入を高速化するためにいくつかテクニックがあるので紹介しよう。皆さんの作業時間が短縮され、少しでも早く帰路に着いたりサービスインさせたりという形でお役に立てれば幸いである。ちなみに、タイトルはネタであるのだが、もし本当に3秒で以下の全ての設定を行えた人が居たら教えて頂きたい！
…
[さらに読む]
Spiderストレージエンジンのバージョン 2.16(beta)とVartical Partitioningのバージョン
0.9(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical
Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql
今回の主な変更は以下です。
(Vartical Partitioningは今回bugfixリリースです)
・テーブルパラメータに「semi_split_read」を追加しました。
・サーバパラメータに「spider_semi_split_read」を追加しました。
これらのパラメータは、参照件数最適化用のパラメータです。 …
MySQL 5.1.38からMySQL本体にInnoDB Pluginバンドルされている。一部の先駆的なユーザー以外に、「InnoDB使ってますよ！」もしくは「検証してるよ！」という話をあまり聞かない。そもそもであるが、InnoDB Pluginってなんぞ？！という人が多いんではないかと思うのだが、実際はどうなのだろう？現在はRC版（リリース候補版）という位置づけのInnoDB Pluginであるが、一部影響度の高いバグが残っていたりしてGA版ほどの安定性は求められないものの、ほとんど実用に耐えうる品質になっているといえる。そんなわけで、今日は改めてInnoDB Pluginの使い方・使いどころについて説明するので、ぜひ皆さんの手でInnoDB Pluginを評価してみて頂きたい。
なお、以下の解説は現在の最新バージョンである、InnoDB Plugin 1.0.6を前提にしているので
InnoDBを使うとき、MyISAMと比較して度々やり玉に挙げられるポイントとして「COUNT()が遅い」というものがある。確かにInnoDBにおいて行数を弾き出すのにはテーブルスキャンが必要なのだが、そもそもMyISAMのCOUNT()が速い（テーブルの行数を保持してる）のが特殊なのであって、InnoDBが遅いわけではないのである。とはいえ、高速なCOUNT()については需要が多く、この問題には多くの人取り組んでおられるようだ。しかしながら、COUNT()のチューニングについては未だ語られていない点があるように見受けられるので、今日はCOUNT()のチューニングについて解説しようと思う。
COUNT(*)、COUNT(col)、COUNT(1)の違い基本的なことではあるが、COUNT(*)とCOUNT(col)では意味が異なるため、異なる結果が返される場合がある。COUNT(*)は
Spiderストレージエンジンのバージョン 2.15(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
今回の主な変更は以下です。
今回はbugfixリリースです。
詳しくは、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
要件
簡単じゃんと思ったら案外罠があった。
設定 バックアップ
MAILTO="youraddress" PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/home/admin/bin 0 4 * * * mysqldump -u root -p rootpass --default-character-set=utf8 --hex-blob --single-transaction --master-data=2 dbname | gzip > /var/backup/mysql/dbname_`date +"\%Y\%m\%d_\%H"`.tar.gz
crontab において「%」はメタ文字なのでエスケープする。エスケープしていないと、次のエラーに遭遇する。
…
[さらに読む]
Spiderストレージエンジンのバージョン 2.14(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
今回の主な変更は以下です。
・テーブルパラメータに「bulk_update_mode」「bulk_update_size」を追加しました。
・サーバパラメータに「spider_bulk_update_mode」「spider_bulk_update_size」を追加しました。
これらのパラメータは、大量更新系のチューニングパラメータです。
「REPLACE」「INSERT IGNORE」が遅い場合には「spider_direct_dup_insert」、
「UPDATE」「DELETE」が遅い場合には「spider_bulk_update_mode」の利用を検討してください。
…
sakaikさんの首記の記事はうまくまとまっていますが、ところどころ勘違いする人や、じゃどう対処すればいいの?と思う人がいるのではないかなー、と思いましたので勝手に補足しておきます。(単なる便乗エントリともいいますがw)
１. [数値] 範囲外の数値は頭を押さえつけられる
２．[数値] 小数は勝手に丸められる（warningも出ない）
３．[数値] 数字以外が入っていると分かるところまでを登録してくれる
４．[文字列] 長さを超えると勝手にカットされる
５．[文字列] 「文字列連結」のつもりでうっかり + を使うな!!
６．[日付] 年を２ケタで指定する際の変換ルール
…
ニュース記事などで既にご存じの方も多いだろうが、経済産業省が国民の声に耳を傾けるための仕組み「アイデアボックス」が開催されている。アイデアボックスは、仕組み自体はモデレーションつきの掲示板みたいなもので（スラドに近い？）、登録すれば誰でも意見を述べたり、他人の意見に賛成or反対したり出来る。言わば現代版目安箱だと言って良いだろう。
経済産業省アイデアボックス http://open-meti.go.jp/
…
[さらに読む]
Spiderストレージエンジンのバージョン 2.13(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
今回の主な変更は以下です。
今回はbugfixリリースです。
詳しくは、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
長谷部さん、バグレポートありがとうございます。