UTF-8 文字列中に UTF-8 として正しくないコードが入っていた場合に、その文字を「?」などに置き換えたいことがあります。

たとえば MySQL に登録するときは不正な文字を消しとかないと、その文字以降すべて消えてしまいます。

mysql> insert into t (c) values (0x414243FF58595A);
Query OK, 1 row affected, 1 warning (0.06 sec)

Warning (Code 1366): Incorrect string value: '\xFFXYZ' for column 'c' at row 1
mysql> select * from t;
+------+
| c    |
+------+
| ABC  |
+------+
1 row in set (0.00 sec)

ということで、Ruby では Iconv を使ってこんな感じで対処してます。

require 'iconv'
def sanitize_utf8(str)
  ret = ''
  i = Iconv.open(' …

NSEG14 に参加しました。

はじめはそのつもりはなかったんですが、枠が空いてたので発表することにしました。急遽決めたので、当日の15時すぎまでスライド作ってました。

今回は、つい最近 MySQL の文字コードまわりでハマったので、それをネタにしてみました。ま、知ってる人にとってはどうってことない話ですが。

Mysqlの文字コード View more presentations from Masahiro Tomita

べっ・・・別にソースコードなんて自分でコンパイルしないんだからねッ！！などと言わずにまず聞いていただきたい。30秒でMySQLのコンパイルが出来るというこの事実を。最近、細々とビルド時間の短縮に取り組んでいたのだが、正直ここまで爆速になるとは思わなかった。今日はビルド時間短縮のためのテクニックを紹介するので、是非皆さんも参考にして、快適ビルド生活を送って頂きたい！！

自己ベストは26.262秒マシンの状態や負荷の状況によって多少ビルドにかかる時間は前後してしまうのだが、これまでの自己ベストはなんと26.262秒。平均すると30秒ぐらい。以前は1分を切ることがなかったのだが、今ではなんとその半分でビルドが出来てしまう。これは純粋にmakeをするのにかかった時間であり、cmake（MySQL …

MySQL の collation について調べてたら、

今回の実験で、utf8_unicode_ciによる大文字-小文字や全角-半角の同一視に

関する動作はなんとなく分かりましたが、どの文字が同一視されるのかを記載した資料ってあるのだろうか?

http://d.hatena.ne.jp/end0tknr/20100613/1276427626

という記事を見かけたので調べてみました。

MySQL の マニュアルによると UCA というアルゴリズムを使用しているようです。

MySQL implements the xxx_unicode_ci collations according to the Unicode Collation Algorithm (UCA) described at http://www.unicode.org/reports/tr10/. The collation uses the version-4.0.0 UCA weight keys: …

　米サンタクララで開催されている MySQLカンファレンスについて、先日、公開資料を色分けしただけのチラ見せのエントリを書きました。
　これは、個人的興味から、手元のExcelで色分けをしてみたもので、決して出し惜しみで画像だけをチラ見せしたわけではないのですが、やはりリンクになっていたほうが便利ですよね。

　ということで、タイムテーブル形式のリンク集を作りました。

…

前回のエントリではMySQL 5.6の新機能についてレビューを行ったが、MySQL User Conferenceに合わせる形でMySQL Clusterの新しい開発版であるバージョン7.2も発表された。一見すると追加された新機能の数は少なくMySQL 5.6ほどのインパクトはないが（というかMySQL 5.6の新機能がありすぎなわけだが）、実は7.2ではMySQL Clusterにとって非常に重要な改善がなされているのだ！

というわけで、今日はMySQL Cluster 7.2の新機能を紹介しよう。 JOINの性能が改善！まず最初に最も重要なことについて述べよう。MySQL Cluster 7.2ではJOINの性能が改善している。非常に大切なことなのでもう一度言おう。MySQL Cluster 7.2ではこれまで最大の弱点であったJOINの性能が改善している！

MySQL

　今年もサンタクララで、オライリーの MySQL Conference & Expo が開催されています。
4月11日(月)から、本日14日(木)まで。150近くのセッションが行われています。

○ O'reilly MySQL Conference & Expo 2011
http://en.oreilly.com/mysql2011/

　早速、続々と、セミナー資料（一部ビデオも）が公開されています。
セミナースケジュール表のうち、下図の緑色の部分が公開されているものです（4/14(木) 15:00JST ( …

現在、米国で行われているMySQL Conference & Expoにあわせて、新しい開発版であるMySQL 5.6が発表された。MySQL 5.5における新機能もかなりのものだったが、MySQL 5.6の進化は質・量ともに勝とも劣らない内容となっている。そこで、今日は簡単に、MySQL 5.6で追加された新機能の概要について見てみよう。開発版なので利用にあたっては十分な注意が必要（予期なく予定が変更される可能性あり）だが、次期正式版のリリースに向けて是非試してみて欲しい。

InnoDB関連MySQL 5.5で大幅な進化を遂げたInnoDBだが、その勢いはまったく衰えることを知らない。性能の強化だけでなく、痒いところに手が届く便利な機能が追加されている。

…

随分と更新が空いてしまったが、「優れたMySQL DBAを見分ける27+3の質問」に対する回答例（漢バージョン）を紹介しよう。実は質問を掲載した際「難しい！」というコメントが非常に多く、もう少し易しい質問にするべきだったかと思って次のように呟いてみたのだが・・・

そのような憂慮など吹き飛ばす回答を松信氏から頂いたのであった！！

非常に心強くて安心した。さすがに日本を代表するMySQLのエキスパートである。出題のレベルは間違ってはいなかった！！

そんなわけで、回答の方に移ろう。

…

JUGEMテーマ：コンピュータ

文字列、数値、日付日時のように汎用的に表すものが決まっている場合には、それに適した器(データ型)に入れてやればスムーズに扱うことができます。しかしながら、例えば特定のデバイスが出す、独自形式のデータなどをリレーショナルデータベースに入れる必要がある場合はどうでしょうか? 例えば、一般的な形式でも、JPEG形式やWAV形式などは、必要な人だけが扱えればよい形式で、それらをどう扱うかは大きくアプリケーションに依存します。 　このようなデータを扱うために、バイナリ型があります。バイナリ型はデータを「バイナリ列としてそのまま」格納します。

…