So, report for week #4 is here… a little late, though
Classes at MScs course are almost over :)… last exam is next tuesday, and then I’ll be able to dedicate more time to the program.
But this week I thought I got a lot of progress… the threaded mysqldump is working (with some problems when large tables are selected), and a speedup of 1,9x was measured with a DB of 600MB, in a quad-core machine. COOL!!!

—

PROJECT: Adding parallelism to mysqldump
WEEK 04

First of all, sorry this report is a little late…

KEY ACCOMPLISHMENTS LAST WEEK

* Reworked connect_to_db so that I can create one connection for each thread now.
* Reworked some functions to turn them into thread-safe. This implied eliminating global variables mysql, extended_row and insert_pat, that are now passed as parameters when needed.
* Finished a prototype where one thread is generated by table to be …

Die Sun Microsystems Inc. liefert die Version 6.3 der MySQL Cluster Carrier Grade Edition aus. Es handelt sich dabei um eine hochverfügbare, extra für Telekommunikations-Dienstleister entwickelte und zertifizierte Version der Open-Source-Datenbank. Das aktuelle Release ermöglicht Carriern und Lieferanten von Netzkomponenten noch umfangreichere Datenbank-Anwendungen als bisher zu betreiben und Daten geografisch verteilt zur Verfügung zu stellen, um beim Ausfall von Sites Ausweichmöglichkeiten zu haben. Informationen und Downloades zu MySQL Cluster 6.3 finden Sie unter http://www.mysql.de/cluster.

PROJECT: Adding parallelism to mysqldump
WEEK 03

KEY ACCOMPLISHMENTS LAST WEEK

* Started implementing a new prototype, adding support to more threads. The inicial idea is to have one thread per table to be dumped, for now. This can be refined later.

KEY TASKS THAT STALLED LAST WEEK

* Couldn’t finish this new prototype. Actually, I’m having problems reworking the connect_to_db method, so that I can create one connection for each thread.

KEY CONCERNS

* I have to deliver this prototype working and with some speedup for a grad. course by the end of the week.
* Semester at grad ends by the end of June.. Exams, assignments

TASKS IN THE UPCOMING WEEK

* Finish this prototype
* Refine the prototype to add a command-line parameter to specify the number of threads, and manage the way each thread gets the tables they will be in charge of dumping
* Still …

In diesem Webseminar erhalten Sie einen Überblick über die verfügbaren Sicherheitsmechanismen des MySQL Servers. Außerdem erfahren Sie, wie diese mit Sicherheitsfunktionen unter Linux kombiniert und verbessert werden können. Zusätzlich werden verschiedene Werkzeuge und Strategien für die Datensicherung eines MySQL-Servers unter Linux vorgestellt.

Zu den behandelten Themen zählen:

• Verbesserung der Server-Sicherheit
  • Auf der MySQL-Seite
  • Auf Linux Betriebssystem-Ebene
• MySQL Backup-Methoden
  • Physikalisches vs. logisches Backup
  • Open-Source-Werkzeuge zum Erstellen von Backups
  • Kommerzielle Backup-Lösungen

Die Teilnahme an diesem Webseminar ist kostenlos

In diesem Webseminar erhalten Sie einen Überblick über die verfügbaren Sicherheitsmechanismen des MySQL Servers. Außerdem erfahren Sie, wie diese mit Sicherheitsfunktionen unter Linux kombiniert und verbessert werden können. Zusätzlich werden verschiedene Werkzeuge und Strategien für die Datensicherung eines MySQL-Servers unter Linux vorgestellt.

Zu den behandelten Themen zählen:

• Verbesserung der Server-Sicherheit
  • Auf der MySQL-Seite
  • Auf Linux Betriebssystem-Ebene
• MySQL Backup-Methoden
  • Physikalisches vs. logisches Backup
  • Open-Source-Werkzeuge zum Erstellen von Backups
  • Kommerzielle Backup-Lösungen

Die Teilnahme an diesem Webseminar ist kostenlos

Am 14. Juli halte ich im newthinking store in der Tucholskystraße 48, Berlin einen Vortrag über die InnoDB Storage Engine. Inhaltlich wird sich das ganze an den beiden Blogartikeln zum Thema orientieren, sodaß ich weniger Arbeit damit habe. :) Aber wie immer gilt am Ende das gesprochene Wort...

So, here it goes my new report…
Until the end of June, when my semester at grad. ends, things are going to progress slowly

PROJECT: Adding parallelism to mysqldump

KEY ACCOMPLISHMENTS LAST WEEK

* Implemented and tested the second prototype, that starts a single thread and runs the dump code inside it.
* Set up bazaar repository

KEY TASKS THAT STALLED LAST WEEK

* Couldn’t blog more and work as I wish…
* Didn’t send the patch to internals mailing list

KEY CONCERNS

* I have to deliver a prototype supporting lots of threads running simultaneously and with some speedup for a grad. course by June, 18;
* Semester at grad ends by the end of June.. Exams, assignments

TASKS IN THE UPCOMING WEEK

* Refine the prototype to add support for more threads – synchronization, passing the correct parameters to each thread
* Patch prototype …

Sun Microsystems, Inc. gibt bekannt, dass die neun Landesverbände des österreichischen Fußballverbands alle spielrelevanten Abläufe mit einer Anwendung auf Basis von MySQL Enterprise Gold abwickeln. Bei der Einführung der neuen Lösung wurde das Datenbank-Management-System eines großen amerikanischen Anbieters durch die Open-Source-Datenbank ersetzt. Mit dem Projekt wurde der Linzer Dienstleister Silbergrau Consulting und Software GmbH betraut. Betrieben wird das System im GRZ IT-Center Linz, einem der größten österreichischen Rechenzentren.

New week… new report

KEY ACCOMPLISHMENTS LAST WEEK

* Identified in the source code where parallelism could be exploited
* Implemented first prototype – some global variables that are going to be passed to the threads were identified and passed as parameters to the dump methods.
* Tested first prototype.
* Communicated via IRC with my mentor (just via e-mail previously) – timezone doesn’t help
* Discovered some related script-based tools. Thanks to Giuseppe Maxia for the tip!

KEY TASKS THAT STALLED LAST WEEK

* Some problems working with a mysql development build for the very first time, but already ok.

KEY CONCERNS

* Semester at grad ends at the end of June.. Exams, assignments

TASKS IN THE UPCOMING WEEK

* Set up bazaar repository
* Patch the first prototype and submit to internals@ to receive feedback
* Implement next step: …

Mit dem Ende dieser Woche endet nicht nur die MySQL Deutschland GmbH, sondern auch meine Tätigkeit bei MySQL. Den neuen Vertrag bei Sun habe ich, anders als zunächst geplant, nicht unterschrieben - mir ist relativ schnell klar geworden, daß ich mich in einer Firma dieser Größe nicht wohl fühlen werde.

Für MySQL bin ich seit Ende des Jahres 2005 unterwegs gewesen - bis zu 180 Tage im Jahr. Neben einigen größeren Projekten habe ich sehr viel kleineres Consulting gemacht - "Pivot-Consulting", bei dem es nicht darum geht ein Projekt umzusetzen, sondern den Kunden dazu zu befähigen, das Projekt selber zu schaukeln. Dabei habe ich alle Bereiche um MySQL herum abgedeckt mit Ausnahme von MySQL Cluster. Ich habe außerdem durchschnittlich 60 Arbeitsstunden pro Woche inklusive Reisezeit weg gehauen und bin teilweise über Monate nur am Wochenende …