The latest from the MySQL community

Motives and the Features

For the servers running in our new network, I was in need for a highly configurable, but easy-to-use backup solution that can take online backups of VMs and MySQL databases running multiple storage engines.

Since my colleagues are all researchers or programmers but there are no dedicated engineers for managing our system, I decided to write a set of command line scripts to accomplish the task instead of using an existing, highly-configurable but time-taking-to-learn backup solutions, like Amanda.

And what I have come up with now is a backup solution with following characteristics, let me introduce them.

• a central backup server able to take backup of other servers over SSH using public-key authentication
• no need to install backup agents into each server
• LVM snapshot-based online, …

元ネタ: Why I still use Perl5? - TokuLog 改めB日記 ===> それでも私が Perl を使いつづける理由 - kazuhoのメモ置き場

なんつーかノリが楽しそうだったのでMySQLで便乗。Perlのことはよく分からないけど。

Fast Enoughもっとはやいといいな、とおもうときはあるけど、他の RDB とくらべても速い部類。

GPLであるいろんなライブラリを組み合わせるときにはライセンスを考えるのが面倒臭いけど、自分の書いたコードがプロプラエタリにならないとか、ユーザーの利用に制限がないとか、GPLの利点も多い。

MySQL community is so goodMySQL コミュニティは質問とかにもわりと答えてくれるし、一緒に仕事してて楽しいですね。

I know MySQL Internals個人的な理由だけど、MySQL の内部

実験エントリです。 動機 OracleのStatspack/AWRで取れるファイル単位のDisk I/O情報を、MySQLでも採取したい。これは次に示すようなデータです。 File IO Stats DB/Inst: ORA112/ORA112 Snaps: 6-7 ->Mx Rd Bkt: Max bucket time for single block read ->ordered by Tablespace, File Tablespace Filename ------------------------ ---------------------------------------------------- Av Mx Av Av Rd Rd Av Av Buffer BufWt Reads Reads/s (ms) Bkt Blks/Rd Writes Writes/s Waits (ms) -------------- ------- ----- --- ------- ------------ -------- ---------- ------ SYSAUX /opt/oracle/oradata/ORA112/sysaux01.dbf 48 1 8.5 ### 2.0 37 0 0 SYSTEM /opt/oracle/oradata/ORA112/system01.dbf 47 1 8.1 32 1.0 9 0 0 UNDOTBS1 /opt/oracle/oradata/ORA112/undotbs01.dbf 2 0 40.0 ### 1.0 13 0 0 USERS /opt/oracle/oradata/ORA112/users01.dbf 4,358 57 48.9 ### 1.9 5 0 8 15.0 ------------------------------------------------------------- …

感想文です。タイトルはテンプレから。

たとえばうちの環境（普段 20-80 IOPS くらいの負荷がかかっている HDD) で、blockdiff (参照: Kazuho@Cybozu Labs: blockdiff を使ったお手軽ホットバックアップ環境の構築 (Linux, MySQL, etc.)) を実行すると、バックアップ速度は 10MB/sec. くらいになる。これはフルバックアップでも増分バックアップでも同じで、ボトルネックは HDD のシーケンシャルリード速度。他の I/O があるから、それぐらいの速度になってしまう *1。

換言とすると、100GB …

　滅多にやらないので（本番環境は yum で入れられる標準バージョンを使うことにしているので）、いつもやり方を忘れてしまいます。　なので自分用メモとしてここに書いておくことにします。 　今回入れたのは ML115 - CentOS 5.4 64bit へ。 $ wget http://ftp.iij.ad.jp/pub/db/mysql/Downloads/MySQL-5.5/mysql-5.5.1-m2-linux-x86_64-glibc23.tar.gz # /usr/sbin/groupad ...

　結論から先に。cronlog を使えば、アプリケーションのテストコードと全く同じ形式で、監視用のスクリプトを書くことができます。プログラマが監視ツールの記法を覚える必要はありません。これは、プログラマが運用も行うケースでは特に有効な手法だと思います。

　先週公開した Kazuho@Cybozu Labs: crontab を使って効率的にサービス監視する方法 というエントリで、crontab と拙作の cronlog を用いてサービス監視を書く手法を紹介しました。しかし、挙げた例はいずれも ping や http のテストといった外形監視の手法です。RDBMS とウェブアプリケーションのみから構成されるサービスならそれだけで十分でしょう。

…

　一昨日に開催された hbstudy #7 にバックアップの話を聞きに行ってきました。Amanda を中心にした話で、とても勉強になりました。が、設定がめんどくさそうだなぁ、とも。自分の需要にはあわない感じでした。

　勉強会が終わったあとで、自作のバックアップスクリプト blockdiff に関する話を何人かの方とさせていただいたのですが、思いのほか反応が良かったので、あらためて紹介したいと思います。

　blockdiff は、一言でいうと、パーティションやデータベースのデータファイルの差分バックアップツールです。rsnapshot に似ていますが、rsnapshot …

　MySQL 5.5.1-m2 がリリースされました。65項目近くの修正がなされています。 　http://www.mysql.gr.jp/frame/modules/news/article.php?storyid=164 　ダウンロードページの操作が、プラットフォームを小さいコンボボックスから選択するというワンステップが必要になり、使いにくくなりました(x_x)。 InnoDB Plugin が MySQL 5.5.0-m2 では 1.0.5 でしたが、今回 1.0.6 になりました rpm ...

世間では、今Gumblar祭りが勃発中であり、SQLインジェクションがニュースに出てくることは少なくなったが、だからと言ってSQLインジェクションの脅威がなくなったわけではない。SQLインジェクションはGumblarを仕掛ける手段としても利用されることがあり、Webアプリケーションを提供する全ての人にとって、対策を講じなければいけない驚異であることに変わりはない。SQLインジェクションという攻撃手法が認識され、大いに悪用されているにも係わらず、その本質に迫って解説している記事は少ないように思う。従来のWeb屋だけでなく、今やアプリケーション開発の主戦場はWebであると言っても過言ではなく、そういう意味ではSQLインジェクションについて理解することは、全てのプログラマにとっての嗜みであると言えるだろう。 …

とりあえずDRBDマニュアルのここらへんから始めるのか吉かと。(MySQLってのはまだ見あたらないので、V2表記を参考にするといい感じです)

第8章 DRBDとPacemakerクラスタの統合

PacemakerはHeartbeatから分離独立したCRM部分です。ここらへんの経緯については以下をご参照ください。

Heartbeatでかんたんクラスタリング（5）Heartbeat開発プロジェクトの現状

分離独立したことからHeartbeatのみならずOpenAISもサポートするようになりました。

Pacemaker

…