PROJECT: Adding parallelism to mysqldump
WEEK 09

KEY ACCOMPLISHMENTS LAST WEEK

* The number of threads created is limited, not one for each table anymore. This implied changes in the thread_data structure, in the way threads are created, also a mutex was used to synchronize data between threads.

KEY TASKS THAT STALLED LAST WEEK

* Lost some time due to problems with the environment where I run tests and had to recreate this in another machine.

KEY CONCERNS

Need to speed up a little bit to get in track again.

TASKS IN THE UPCOMING WEEK

* Add command-line option to allow user to choose the number of threads (right now it is hardcoded, just for test purposes).
* Add possibility to execute code in old behavior (serial) rather than new one (parallel).

KEY ACCOMPLISHMENTS LAST WEEK

* Solved out-of-memory error, finally!!! (credits go to my mentor, Stewart Smith)
* Refactored code to adapt to coding style/guidelines.
* I’m finally getting the way of bzr.

KEY TASKS THAT STALLED LAST WEEK

None

KEY CONCERNS

It took a lot of time to solve this error, so now I gotta speed up a little bit to get in track again.

TASKS IN THE UPCOMING WEEK

* Add command-line option to allow the user to specify how many threads will be created. This will imply changes in the way each thread receives the tables (currently just one) it will dump, probably using a list shared among threads.
* If time allows, include my code in the source tree

PROJECT: Adding parallelism to mysqldump
WEEK 07

KEY ACCOMPLISHMENTS LAST WEEK
* Completed midterm evaluations
* Finally was able to create a branch with bazaar, commit my changes and tried submitting a patch to my mentor. There were some problems sending the patch, but it should be done by tonight)

KEY TASKS THAT STALLED LAST WEEK
* Still couldn’t solve the out-of-memory error. Now with my code in a branch will be easier to get help from the community.

KEY CONCERNS
* Need to fix this error ASAP and move on with my project.

TASKS IN THE UPCOMING WEEK
* Solve the out-of-memory error
* Submit a patch with bzr
* If time allows, include my code in the source tree after solving the error and doing more testing
…

Folien (PDF) durch Anklicken des Thumbnail-Bildes. Letzte Warnung für die ganz Verpeilten: Das wär dann heute.

Update: Die Slides (PDF) als Download. Der Text des Vortrags ist zwar nicht überliefert, aber dafür hab ich ja dies und dies.

Die InnoDB Storage Engine:

Die InnoDB Storage Engine wird in MySQL verwendet, um Transaktionssicherheit zu gewährleisten. Der Vortrag erklärt die Konzepte und Ideen hinter der Engine, wie sie konfiguriert wird und wie man sie in einer Anwendung benutzt.

Referent: Kristian Köhntopp.

Nächsten Montag. Um 19:30 Uhr. Im new thinking Store.

(Dies ist die zweite Vorwarnung - damit Ihr Euren …

PROJECT: Adding parallelism to mysqldump
WEEK 06

KEY ACCOMPLISHMENTS LAST WEEK

None.

KEY TASKS THAT STALLED LAST WEEK

Out-of-memory error when dumping big databases

KEY CONCERNS

I couldn’t fix the out-of-memory error. It only happens when I have DBs with big tables. The error happens because memory to the dynamic string could not be allocated. Hope I can fix this soon and move on with the project.

TASKS IN THE UPCOMING WEEK

* Solve the out-of-memory error
* Start using BZR to submit patches, and also submit to internals mailing list, to get feedback from the community
* Start refining the prototype to add a command-line parameter to specify the number of threads

Aus der ACM Queue schreibt uns Dan Pritchett (eBay) "BASE - An ACID Alternative":

In partitioned databases, trading some consistency for availability can lead to dramatic improvements in scalability.

(via hohjg)

Hi all,

Classes are finally over… now I can dedicate more time to this project

Report for last week is a little ’empty’…

—

PROJECT: Adding parallelism to mysqldump
WEEK 04

KEY ACCOMPLISHMENTS LAST WEEK
None.
Last week of exams at university took me a lot of time. I should have take that into account when doing my last report.

KEY TASKS THAT STALLED LAST WEEK
N/A

KEY CONCERNS
None. In fact, I’m glad I’ll be able to dedicate more time to the program now that classes are over

TASKS IN THE UPCOMING WEEK
(same as last week)

* Solve the out-of-memory error
* Refine the prototype to add a command-line parameter to specify the number of threads
* Fix some minor coding standard issues
* Start using BZR to …

Daß RAM eine Feine Sache (tm) ist, wenn man eine Datenbank betreiben will, ist ja der Kern vieler meiner Ausführungen zu diesem Thema. Daß Flash kein "RAM" im engeren Sinne ist, wird dabei gerne einmal überhört - Flash Disks stinken aber generell ab, wenn sie beschrieben werden und noch mehr, wenn sie mit Random I/O beschrieben werden. Selbst etwas so langsames und mechanisches wie eine traditionelle Festplatte gewinnt hier. Was man stattdessen will ist RAM mit Batterie.

Nun gibt es auch Spezialisten, die sich ein Notebook mit Flash statt Harddisk haben aufschwatzen lassen, denn immerhin kann Flash nicht durch Fall-Schock kaputt gehen und außerdem braucht es weniger Strom. Braucht es wohl, denn Daten auf ein Flash zu braten frißt nun einmal Leistung.

Sun Microsystems hat unter dem Titel „GlassFish and MySQL Unlimited“ ein neues Angebot für Firmen-Kunden zur Verfügung gestellt. Für eine einmalige Subskriptionsgebühr können Unternehmen nun GlassFish, mit mehr als sieben Millionen Downloads einer der führenden Open-Source-Application-Server, und die Datenbanksoftware MySQL auf beliebig vielen Servern im eigenen Haus einsetzen. Die unbeschränkte Nutzung kostet bei weniger als 1.000 Mitarbeitern 65.000 US-Dollar pro Jahr. Ab 1.000 Mitarbeitern ist die Höhe der Gebühr gestaffelt. Mit „GlassFish and MySQL Unlimited“ können Kunden erhebliche Einsparungen realisieren und ihren Return on Investment (ROI) deutlich erhöhen. Die Gesamtkosten für proprietäre Software übersteigen im Zeitraum von drei Jahren bei Nutzung eines Application-Servers auf 20 DualCore x86-Servern und einer Datenbank auf zehn DualCore x86-Servern leicht drei Millionen US-Dollar. Dieselbe Konfiguration kostet bei …