Et voilà, 4 jours se sont écoulés et la confèrence MySQL est déjà finie. Elle s’est terminée par un excellent Keynote de l’équipe derriére le site couvrant la campagne d’Obama. Ou comment des gars brillants ont reussi un challenge impressionant en ayant peu de connaissance sur MySQL au départ. Tout à été filmé et je vous conseille de regarder la vidéo. Je la publierai aussi sur le site au cas où. Pour l’instant, je suis encore à la Percona conference qui dure encore quelques heures.

En résumé, ce que je retiens de ces quelques jours:

• Oracle rachéte SUN
• MySQL 5.4
• MySQL Cluster 7.0
• PBXT et son blob streaming add on
• la conférence Percona en parallele
• Drizzle, …

Don est un personage un peu à part dans la communauté. Il est le CEO et Chef Geek chez SmugMug. C’est un site de partage de photos et vidéos, jusque là rien de nouveau. Il existe sur le marché des concurrents comme Flickr, fotolog . Ce qui m’a étonné y a quelques années, c’est de voir que son business model était différent des autres. En général, ces sites offrent des comptes gratuits pour attirer des utilisateurs avec bien sur des comptes « pro » payant pour avoir acces à plus de stockage, bande passante,… Smugmug, non! En effet, tous les comptes sont payants ( Standard: $39.95/year, Power: $59.95/year, Pro: $149.95/year ). Et pourtant, ce site marche très bien et fait même des bénéfices sans avoir …

Vous avez tous eu besoin au moins une fois d’un système de messagerie ( de queue ) pour que vos applications communiquent entre elles. Q4M est un de ces systémes qui en plus fonctionne comme un moteur de stockage de MySQL 5.1.

La cible:

• robuste
• rapide ( milliers de messages par seconde )
• facile à utiliser  

Les chiffres

• communication asynchrone et persistante
• 7000 messages/s
• 512 bytes
• sync to disk

Les utilisations

• Buffer write pour la DB pour les périodes de pick
• relay en DB et processes d’analyse
• pre fetch – de la DB vers Memcached
• scheduling web crawlers

Les liens

• http://q4m.31tools.com
• Linux – Intel

Les options

• –with-sync
• –enable-mmap …

Monty, un des fondateurs de MySQL, a quitté SUN/MySQL il y a quelques mois et à depuis fondé Monty Program AB la société dernière MariaDB. Il a écrit une très grande partie du code de MySQL. Ce qui m’avait impressionné la première fois ou je l’avais rencontré c’est qu’il connaît le code source presque par coeur. Vous lui dites, « j’ai un problème à cet endroit »… en quelques minutes, il est capable de savoir de quel partie du code cela vient. Impressionant.

Autre chose sur Monty, il a 3 enfants:

• sa fille My – MySQL
• son fils Max – MaxDB
• sa fille Maria – moteur de stockage Maria – MariaDB

des choses comme celles là ne s’inventent pas.

Revenons sur MariaDB, c’est la …

Si vous êtes un MAC addicted comme moi, vous connaissez l’outil Time Machine d’Apple qui permet de faire des sauvegardes ( idéalement avec la Time Capsule ). L’outil attendu depuis des années pour faire des backup/restoration, surtout des « Point in time recovery » qui permet de revenir exactement à une période dans le temps.

Le concept est simple:

• backup à chaud avec enregistrement des positions des binlogs
• backup des binlogs

La console Web permet de gérer tout cela et de programmer les prises de backup. C’est basé sur l’outil MySQL Backup disponible avec la 6.0.

Les étapes:

• backup sur le server
• backup data copié sur le TM server

Personnellement je trouve l’idée très intéressante maintenant, est ce un vaporware? est ce …

Paul s’occupe de l’architecture, des SGBD et des admins chez Youtube. Sa participation au keynote « Scaling MySQL – Up or Out? » m’avait bien marqué. Il nous parle aujourd’hui des performances de nos systèmes.

Voila les règles:

• pas d’I/O – tuner vos requètes
• faire le moins d’I/O possible – tuner votre cache
• faite en sorte que les I/O soit séquentiels – donc pas un OLTP système
• faire en sorte que votre I/O controler soit tout le temps occupé
• Ne rien cacher en dessous de la DB ( pas de cache au niveau du filesystem ou du controleur )
• Cacher les écritures avec le contrôleur RAID
• Etre sûr que la taille des STRIP/CHUNCK soient plus LARGES que la taille des DB BLOCKS
• Etre sûr que nos I/O soient réellement …

Trop c’est trop. Déjà à l’époque,nous devions choisir entre un nombre incalculable de sessions… En effet sans compter les keynotes, il y avait 8 presentations en parallèle. Nouveauté cette année, en plus des sessions « standard », le MySQL camp et la conférence performance de Percona. Evidemment les horaires ne correspondent pas, et je vais devoir courir d’une salle à l’autre. Ceci sans compter les rendez-vous et les discussions de couloir…

Ce matin, j’ai zappé le keynote MySQL pour aller voir celui de Peter ( Percona ), suivi par une présentation de …

Je connais Paul depuis maintenant quelques années, quand PBXT était seulement un petit projet qu’il avait commencé tout seul en parallele de son activité principale. 3 ans après, PBXT est un moteur de stockage qui concurrence InnoDB. Il va nous présenter l’histoire de PBXT, les challenges qu’il a du remplir et les prévisions sur l’avenir.

PBXT est disponible pour MySQL, MariaDB et Drizzle

Les challenges

• CPU - Le nombre de coeurs augmente mais la vitesse reste stable
• Plus de CPU -> plus de contention
  • minimize les mutex
  • segmentation
  • segmentation
  • read lock
  • atomic
  • bus contention
• SSD - no seek time
  • le cluster des data n’est plus essentiel

Les Bases - un record avec un taille fixe …

Boris et Dan nous présentent l’architecture de Zimbra composée entre autre d’un server ZCS, de Java Jetty, d’OpenLDAP, de MySQL 5.0, de fichiers de stockage et de Lucene.

Quelques chiffres pour chaque server:

• 95k mailboxes
• 11M message
• 530k messages a day
• 464k SOAP request per day
• 6.4M POP requests per day

Le serveur type est un quad core, 32G RAM

• ZCS a sa propre architecture pour gérer les REDO
• backup tout en une fois ( filesystem, database, ldap )
• restore - load le dernier backup and rejoue tous les REDO
• ZCS redo log - incrémental restore

Problèmes et solutions:

• Les tags d’un utilisateur sont stocké sur 1 seul entier ( 64 bits ) - évite les jointures
• trier les messages de la mailbox - ils utilisent les HINTS
• data partitionning - les …

John travaille pour le site eMapSite et est spécialisé dans la GIS ( Système d’information géographique ). Plus plus de détail sur le concept, je vous laisse lire la définition sur wikipedia. Les SGBDs qui se sont intéréssés à ce genre de données ont été Oracle et Postgres et maintenant MySQL. MySQL a rattrapé son retard dans le domaine.

L’idée est de découper la carte en carrés contenant le plus petit object possible. Les index R-Tree ont été développé à cet occasion, liant les “carrés” entre eux. Charger des données en base prend généralement beaucoup de temps. John utilise un trick assez sympa. Un trigger apres insertion sur une table blackhole qui calcule ensuite les données GIS et les insere dans la table adequate.

MyISAM est le seul moteur à supporter les index r-tree, donc pour des …