Twitter's new tweet store:

When you tweet it's stored in an internal system called T-bird, which is built on top of Gizzard. Secondary indexes are stored in a separate system called T-flock, which is also Gizzard based.

Unique IDs for each tweet are generated by Snowflake, which can be more evenly sharded across a cluster. FlockDB is used for ID to ID mapping, storing the relationships between IDs (uses Gizzard).

Gizzard is Twitter's distributed data storage framework built on top of MySQL (InnoDB).

InnoDB was chosen because it doesn't corrupt data. Gizzard us just a datastore. Data is fed in and you get it back out again.

To get higher performance on individual nodes a lot of features like binary logs and replication are turned off. Gizzard handles sharding, replicating N copes of the data, and job scheduling.

Gizzard is used as a building block for other storage systems at Twitter. …

The InnoDB Plugin introduces the idea of a named file format and a configuration parameter to enable the use of features that require use of that format. The new file format is the “Barracuda” format, and the file format supported by prior releases of InnoDB is called file format “Antelope”. Compressed tables and the new row format that stores long columns “off-page” require the use of the “Barracuda” file format or newer. Future versions of InnoDB may introduce a series of file formats, identified with the names of animals, in ascending alphabetical order.

Beginning with this release, every InnoDB per-table tablespace file is labeled with a file format identifier. This does not apply to the system tablespace (the ibdata files) but only the files of separate tablespaces (the *.ibd files where tables and indexes are stored in their own tablespace). As noted below, however, the system tablespace is …

英語を勉強したいが技術も勉強したい。それは技術者にとって悩ましい悩みではいだろうか。そんな悩める技術者諸君にとって喜ばしい知らせがある。MySQLの勉強も英語のリスニングも同時にできる、そうOurSQL Database Community Podcastならね。

OurSQL: The MySQL Database Community Podcast

だいたい1回30分前後でMySQLについて様々なトピックについてのディスカッションが行われている。既にエピソード69までたまっているのでまさに聞き放題だ！Webページ上で直接聴くこともできるし、お気に入りのミュージックプレイヤーで聴くなら下記のPodcast FeedのURLを登録すれば良い。筆者はAmarokで聴いている。

http://technocation.org/audio/feed

Enjoy!!

http://www.bearcave.com/software/antlr/antlr_examples.html
http://www.antlr2.org/doc/sor.html
http://www.antlr.org/

レプリケーションはMySQLで最もよく使われる機能のひとつだ。レプリケーションは基本的に非同期でデータの複製を行う仕組みになっているのだが、非同期故にどうしても逃れられない問題がある。そのひとつが今回のテーマ、遅延である。というと、MySQLのレプリケーションはすぐに遅延が生じてしまうように感じてしまうかも知れないが、そのようなことはない。ほとんどの場合は即座にスレーブの更新が行われる。

なぜ遅延は発生するのか、どのように遅延が起きていることを調べるのか、どのように回避するのかということを本エントリでは解説したい。うまく遅延と付き合って、MySQLのレプリケーションをより快適に運用してもらえればと思う。

…

これはMySQL Casual Advent Calendar 2011 - MySQL Casualの8日目の記事です！

UDFでFizzBuzz

id:sugyanさんがストアドプロシージャでFizzBuzzをやっていたのでMySQLのUDF(user-defined function)でもやってみました。

kamipo/mysql_fizzbuzz ? GitHub

git clone git://github.com/kamipo/mysql_fizzbuzz.git
cd mysql_fizzbuzz
g++ -shared -fPIC -Wall -g mysql_fizzbuzz.cc -o mysql_fizzbuzz.so
cp mysql_fizzbuzz.so …

これはMySQL Casual Advent Calendar 2011 - MySQL Casualの8日目の記事です！

UDFでFizzBuzz

id:sugyanさんがストアドプロシージャでFizzBuzzをやっていたのでMySQLのUDF(user-defined function)でもやってみました。
kamipo/mysql_fizzbuzz · GitHub …

http://www.chriscalender.com/?p=28

There is a quick way to type both MySQL database and table names quickly by enabling MySQL auto completion feature. This is called automatic rehashing. This option is on by default, which enables table and column name completion.

First connect to mysql database called foo:

$ mysql -utest -p db1
Now let us say you would like to list all records from tables wp_users. Type select * from w and press tab key to complete table name:
mysql> select * from phi {Press TAB KEY}

Please note that if the partial name is unique, mysql will completes it for you. Otherwise, you can hit tab key again to see all possible matches.

Auto-completion enables you to cut down typing time and great way to speed up your work :)

If you don't use this feature, disable this feature by passing -A or --skip-auto-rehash option to mysql. That causes mysql to start …

　PAM認証について全然分かっていないのですが、MontyProgram(MariaDB)とPerconaが足並みをそろえて「オープンソースのPAM認証プラグイン」を発表していたので、少し気になって、記事を読んでみました。
　詳しい方、要するになんなのか、色々教えてください！
　以下、翻訳のような翻訳でないような、メモ。

2011/12/05：MontyProgmramの動き
…