PROJECT: Adding parallelism to mysqldump
WEEK 03

KEY ACCOMPLISHMENTS LAST WEEK

* Started implementing a new prototype, adding support to more threads. The inicial idea is to have one thread per table to be dumped, for now. This can be refined later.

KEY TASKS THAT STALLED LAST WEEK

* Couldn’t finish this new prototype. Actually, I’m having problems reworking the connect_to_db method, so that I can create one connection for each thread.

KEY CONCERNS

* I have to deliver this prototype working and with some speedup for a grad. course by the end of the week.
* Semester at grad ends by the end of June.. Exams, assignments

TASKS IN THE UPCOMING WEEK

* Finish this prototype
* Refine the prototype to add a command-line parameter to specify the number of threads, and manage the way each thread gets the tables they will be in charge of dumping
* Still …

Am 14. Juli halte ich im newthinking store in der Tucholskystraße 48, Berlin einen Vortrag über die InnoDB Storage Engine. Inhaltlich wird sich das ganze an den beiden Blogartikeln zum Thema orientieren, sodaß ich weniger Arbeit damit habe. :) Aber wie immer gilt am Ende das gesprochene Wort...

So, here it goes my new report…
Until the end of June, when my semester at grad. ends, things are going to progress slowly

PROJECT: Adding parallelism to mysqldump

KEY ACCOMPLISHMENTS LAST WEEK

* Implemented and tested the second prototype, that starts a single thread and runs the dump code inside it.
* Set up bazaar repository

KEY TASKS THAT STALLED LAST WEEK

* Couldn’t blog more and work as I wish…
* Didn’t send the patch to internals mailing list

KEY CONCERNS

* I have to deliver a prototype supporting lots of threads running simultaneously and with some speedup for a grad. course by June, 18;
* Semester at grad ends by the end of June.. Exams, assignments

TASKS IN THE UPCOMING WEEK

* Refine the prototype to add support for more threads – synchronization, passing the correct parameters to each thread
* Patch prototype …

New week… new report

KEY ACCOMPLISHMENTS LAST WEEK

* Identified in the source code where parallelism could be exploited
* Implemented first prototype – some global variables that are going to be passed to the threads were identified and passed as parameters to the dump methods.
* Tested first prototype.
* Communicated via IRC with my mentor (just via e-mail previously) – timezone doesn’t help
* Discovered some related script-based tools. Thanks to Giuseppe Maxia for the tip!

KEY TASKS THAT STALLED LAST WEEK

* Some problems working with a mysql development build for the very first time, but already ok.

KEY CONCERNS

* Semester at grad ends at the end of June.. Exams, assignments

TASKS IN THE UPCOMING WEEK

* Set up bazaar repository
* Patch the first prototype and submit to internals@ to receive feedback
* Implement next step: …

Mit dem Ende dieser Woche endet nicht nur die MySQL Deutschland GmbH, sondern auch meine Tätigkeit bei MySQL. Den neuen Vertrag bei Sun habe ich, anders als zunächst geplant, nicht unterschrieben - mir ist relativ schnell klar geworden, daß ich mich in einer Firma dieser Größe nicht wohl fühlen werde.

Für MySQL bin ich seit Ende des Jahres 2005 unterwegs gewesen - bis zu 180 Tage im Jahr. Neben einigen größeren Projekten habe ich sehr viel kleineres Consulting gemacht - "Pivot-Consulting", bei dem es nicht darum geht ein Projekt umzusetzen, sondern den Kunden dazu zu befähigen, das Projekt selber zu schaukeln. Dabei habe ich alle Bereiche um MySQL herum abgedeckt mit Ausnahme von MySQL Cluster. Ich habe außerdem durchschnittlich 60 Arbeitsstunden pro Woche inklusive Reisezeit weg gehauen und bin teilweise über Monate nur am Wochenende …

This is my first weekly report…. Cool, huh?

Project: Adding parallelism to mysqldump

KEY ACCOMPLISHMENTS LAST WEEK

* Already subscribed to MySQL mailing lists (gsoc and internal).
* Contacted my mentor and we started thinking in the project and the first steps to take.
* Read some documentation about MySQL and mysqldump
* Set up my development environment (mysql 5.1 installed and tested)
* Created my account at the Forge, and started filling a wiki related to this project – http://forge.mysql.com/wiki/ParallelMySQLDump
* Created a blog, where thoughts and reports will be posted – https://danielvolpato.wordpress.com/ -, and also syndicated it on planetmysql.org.
* Started looking at the source code, to identify where …

Die Slides zum Vortrag - wie immer sind sie ohne das gesprochene Wort überwiegend sinnlos. Vortrag MySQL Database Scale-Out
Wann: heute - 19:30 bis 21:00
Wo: New Thinking Store, Tucholskystrasse 48, Berlin (Ecke Linienstrasse)

Was tun, wenn der Datenbankserver nicht mehr ausreicht und man skalieren muß?

Der Vortrag stellt eine Standardarchitektur für das Scale-Out (horizontale Skalierung statt vertikaler Skalierung) mit MySQL vor, bei der Linux heartbeat, DRBD und LVM zum Einsatz kommen, um einen redundanten Master zu erzeugen und der dann mit MySQL Replikation eine Anzahl von Datenbankslaves beliefert. Ebenso werden die notwendigen Eingriffe an der Anwendung beleuchtet, um mit einem …

Die zweite Ausgabe der PHP-Unconference in Hamburg am Wochenende (26./27. April 2008) übertraf die kühnsten Erwartungen.

Auf dem Rückweg vom ersten PHP Vikinger im Sommer 2006 durfte ich Darren Cooper (PHP UG Frankfurt) kennenlernen. Wir verbrachten einen wunderbaren Nachmittag in Oslo bei strahlendem Sonnenschein und sinnierten über Community-Events wie die Vikinger-Unconference und Usergroups. Wir hielten noch einige Wochen Kontakt per E-Mail, verloren uns dann etwas aus den Augen, chatteten gelegentlich mussten uns jedoch zwei Jahres bis zum letzten Wochenende gedulden, bevor wir uns wiedersahen.

Unsere alten Diskussionen und Ideen kann man in sechs Worten zusammenfassen: …

Die zweite Ausgabe der PHP-Unconference in Hamburg am Wochenende (26./27. April 2008) übertraf die kühnsten Erwartungen.

Auf dem Rückweg vom ersten PHP Vikinger im Sommer 2006 durfte ich Darren Cooper (PHP UG Frankfurt) kennenlernen. Wir verbrachten einen wunderbaren Nachmittag in Oslo bei strahlendem Sonnenschein und sinnierten über Community-Events wie die Vikinger-Unconference und Usergroups. Wir hielten noch einige Wochen Kontakt per E-Mail, verloren uns dann etwas aus den Augen, chatteten gelegentlich mussten uns jedoch zwei Jahres bis zum letzten Wochenende gedulden, bevor wir uns wiedersahen.

Unsere alten Diskussionen und Ideen kann man in sechs Worten zusammenfassen: …

Die zweite Ausgabe der PHP-Unconference in Hamburg am Wochenende (26./27. April 2008) übertraf die kühnsten Erwartungen.

Auf dem Rückweg vom ersten PHP Vikinger im Sommer 2006 durfte ich Darren Cooper (PHP UG Frankfurt) kennenlernen. Wir verbrachten einen wunderbaren Nachmittag in Oslo bei strahlendem Sonnenschein und sinnierten über Community-Events wie die Vikinger-Unconference und Usergroups. Wir hielten noch einige Wochen Kontakt per E-Mail, verloren uns dann etwas aus den Augen, chatteten gelegentlich mussten uns jedoch zwei Jahres bis zum letzten Wochenende gedulden, bevor wir uns wiedersahen.

Unsere alten Diskussionen und Ideen kann man in sechs Worten zusammenfassen: …