Trop c’est trop. Déjà à l’époque,nous devions choisir entre un nombre incalculable de sessions… En effet sans compter les keynotes, il y avait 8 presentations en parallèle. Nouveauté cette année, en plus des sessions « standard », le MySQL camp et la conférence performance de Percona. Evidemment les horaires ne correspondent pas, et je vais devoir courir d’une salle à l’autre. Ceci sans compter les rendez-vous et les discussions de couloir…

Ce matin, j’ai zappé le keynote MySQL pour aller voir celui de Peter ( Percona ), suivi par une présentation de …

Dathan s’est fait connaître en étant le DBA de Flickr. Il travaille maintenant pour Rockyou sur des problèmatiques de gros volumes travaillant essentiellement avec des réseaux sociaux.

• connaître ses données ( comment elles sont ajoutées, accédées, grossies? qui sont les utilisateurs les plus actifs? )
• connaître l’application & le hardware
• connaître les problèmes ( I/O, coût, pas de downtime, … )

Les techniques:

• Federation
• Sharding
• utilise XtraDB

Les chiffres

• 4.4 billions transactions a day - 100k TPS
• 25T data
• 35k memcache gets a sec
• 10M active users
• 99.999% uptime
• …

Je connais Paul depuis maintenant quelques années, quand PBXT était seulement un petit projet qu’il avait commencé tout seul en parallele de son activité principale. 3 ans après, PBXT est un moteur de stockage qui concurrence InnoDB. Il va nous présenter l’histoire de PBXT, les challenges qu’il a du remplir et les prévisions sur l’avenir.

PBXT est disponible pour MySQL, MariaDB et Drizzle

Les challenges

• CPU - Le nombre de coeurs augmente mais la vitesse reste stable
• Plus de CPU -> plus de contention
  • minimize les mutex
  • segmentation
  • segmentation
  • read lock
  • atomic
  • bus contention
• SSD - no seek time
  • le cluster des data n’est plus essentiel

Les Bases - un record avec un taille fixe …

Philippe fait parti de l’équipe MySQL QA . Il présente une méthode utilisant Random Query Generator afin de créer des jeux de test les plus exhaustif possible pour valider le bon fonctionnement d’une base de donnée.

Le paramétrage se fait en analysant un langage relativement simple. Random Query Generator permet de générer un rapport d’erreur d’exécution qui va au delà du scope de l’application. Cet outils utilisé parallèlement au Query Analyzer permet d’avoir un maximum d’information permettant d’augmenter les performances de la base.

En allant jusqu’au crash du serveur nous allons pouvoir tester la récupération des données. La solution est Multi plateforme (Linux, Solaris, Windows) très largement paramétrable mais a mon avis extrêmement phagocyteur de te temps au moment de la génération du jeu d’essai. A tester aussi sur des tests de non régression.

Vous pouvez …

Boris et Dan nous présentent l’architecture de Zimbra composée entre autre d’un server ZCS, de Java Jetty, d’OpenLDAP, de MySQL 5.0, de fichiers de stockage et de Lucene.

Quelques chiffres pour chaque server:

• 95k mailboxes
• 11M message
• 530k messages a day
• 464k SOAP request per day
• 6.4M POP requests per day

Le serveur type est un quad core, 32G RAM

• ZCS a sa propre architecture pour gérer les REDO
• backup tout en une fois ( filesystem, database, ldap )
• restore - load le dernier backup and rejoue tous les REDO
• ZCS redo log - incrémental restore

Problèmes et solutions:

• Les tags d’un utilisateur sont stocké sur 1 seul entier ( 64 bits ) - évite les jointures
• trier les messages de la mailbox - ils utilisent les HINTS
• data partitionning - les …

A la grande surprise générale, Oracle a acheté Sun et cette annonce a été effectuée pendant la grande conférence MySQL à Santa clara, dont certaines réactions à chaud ont été publiées venant de certains acteurs majeurs français.
Pour rappel, Voici quelques mois les yeux étaient tournées sur le rachat de MySQL par SUN.
Cependant Kaj Arnö a réfléchi sur ces derniers évènements et au lieu de se poser la question des conséquences et des chamboulements du paysage, il s'est posé une très bonne question : « Ce qui ne va pas changer avec MySQL »
Ces points de réflexions concernent :

• Une énorme base d'utilisateurs de MySQL sur le marché
• Un énorme réservoir de talents d'experts
• MySQL sous licence GPL
• Des fondateurs MySQL
• Une entité
• Des annonces sur les produits avec la conférence MySQL de cette semaine

John travaille pour le site eMapSite et est spécialisé dans la GIS ( Système d’information géographique ). Plus plus de détail sur le concept, je vous laisse lire la définition sur wikipedia. Les SGBDs qui se sont intéréssés à ce genre de données ont été Oracle et Postgres et maintenant MySQL. MySQL a rattrapé son retard dans le domaine.

L’idée est de découper la carte en carrés contenant le plus petit object possible. Les index R-Tree ont été développé à cet occasion, liant les “carrés” entre eux. Charger des données en base prend généralement beaucoup de temps. John utilise un trick assez sympa. Un trigger apres insertion sur une table blackhole qui calcule ensuite les données GIS et les insere dans la table adequate.

MyISAM est le seul moteur à supporter les index r-tree, donc pour des …

Vous ne pouvez pas utiliser MySQL sans connaitre Jeremy. Ancien Yahoo! il a été l’un des premiers à utiliser MySQL pour Yahoo! Finance et est co-auteur de MySQL High Performance, la 1er édition. Après des années à avoir travaillé et évangélisé MySQL, Jeremy fut un responsable du développement du YDN. Il a décidé, il y a quelques temps de retourner dans la sphére de MySQL en devenant expert pour Craig List. Un de ses premiers challenges chez CL, a été d’optimiser les FULL TEXT search.

Les challenges chez CL:

• high ad churn rate - la durée de vie des annonces sur le site. Vous ne voulez plus recevoir de mails sur un item déjà vendu
• croissance
• trés gros traffic
• outil d’analyse & …

Et voila… la conférence commence enfin par les traditionnels “Keynote”.

voila le programme:

• State of the Dolphin Karen Padir (Sun Microsystems)
• This is Not a Web App: The Evolution of a MySQL Deployment at Google Mark Callaghan (Google)
• Do You Believe in Magic? Bruce Armstrong (Kickfire), Justin Lin (Mamasource)

Karen qui a remplacé Marten Mickos à la tête du groupe MySQL & Software Infrastructure, nous a présenté le “bombe du jour” avec MySQL 5.4 avec plusieurs resultats de benchmark. Suite à cela, Ken Jacobs connu comme “Mr DBA” ( employé 18 chez Oracle ) nous a, à son tour, présenté des nouveautés InnoDB… Karen a ensuite remis le “Acquirer of the year” award à Ken. A big happy familly!
La 2eme parti de ce keynote était orienté “query analyzer” avec un présentation de l’outil.
Un autre bombe de la journée, cela n’arrete …

Pendant son keynote, Karen a annoncée, la sortie de MySQL 5.4, la solution attendu depuis des mois aux problèmes de montée en charge de MySQL.

• Meilleure montée en charge
• Meilleures subqueries
• Nouveaux algorithmes de requètes
• Meilleures procedures stockées
• Amélioration de l’INFORMATION_SCHEMA
• support de Dtrace

Si on croit les tests présentés:

• 59% plus rapide que le 5.1.
• 71% plus rapide en 64 vs 32

Comment est née cette version? Un gros effort de MySQL/SUN pour intégrer enfin les patchs de Google, et des corrections au niveau des mutex. Vous savez quoi? Je me languis d’avoir cette bombe dans les mains. Les sites mirroirs sont mis à jour à l’instant même ou je vous parle… Des améliorations InnoDB sont aussi attendu, peut être pas encore dans la 5.4 mais ils sont dans la “to-do”.