• Sie befinden sich hier: Startseite > SQL-Backstube > Daten aus Altsystemen normalisieren

Die SQL-Backstube

Bietet Rezepte, Lösungen und ausführliche Beispiele rund um gesundes SQL und zufriedene Datenbanken.

31.10.2010: Daten aus Altsystemen normalisieren

Problemstellung

Altdatenübernahme aus Vorgängersystem (Legacy Systemen) gehört zu einer häufigen, aber ziemlich unbeliebten Tätigkeit eines Datenbank- oder Softwareentwicklers. Zumeist wird der Aufwand dafür vollkommen unterschätzt.

Getestet mit folgender Datenbank:

* MySQL 5.1.30
* ..auch andere SQL-Datenbanken sollten keine Probleme damit haben.

Serielle CSV Daten

Ein typisches Problem ist das Normalisieren der seriellen Daten in bestehende Tabellen, denn häufig liefern die Migrationswerkzeuge nur folgenden CSV-Output:

Tabellen erzeugen

Listing 1:

1. "lfd.Nr","feldname","wert";
2. "1","kundenr","00001";
3. "2","name","Musterfrau";
4. "3","vorname","Meike";
5. ...
6. "7","kundenr","00002";
7. "8","name","Mustermann";
8. ...

Zum Einlesen (LOAD) solcher CSV-Daten bieten alle Datenbanken entsprechende Werkzeuge. Nun müssen diese Daten aber in bestehende normalisierte Tabellen eingelesen werden. Und dies geht beispielsweise so:

Tabelle und Testdaten

Listing 2:

1. CREATE TABLE altdaten (
2. lfdnr integer NOT NULL,
3. feldname varchar(20),
4. wert varchar(100),
5. PRIMARY KEY (lfdnr)
6. );
8. INSERT INTO altdaten (lfdnr, feldname, wert) VALUES
9. ('1','knr', '00001'),
10. ('2','name', 'Maier'),
11. ('3','vorname', 'Meike'),
12. ('4','strasse', 'Maiweg 7'),
13. ('5','plz', '12000'),
14. ('6','ort', 'Musterort'),
15. ('7','knr', '00002'),
16. ('8','name', 'Schmitt'),
17. ('9','vorname', 'Stefan'),
18. ('10','strasse', 'Stadtgasse 14'),
19. ('11','plz', '14000'),
20. ('12','ort', 'Musterstadt'),
21. ('13','knr', '00003'),
22. ('14','name', 'Schulz'),
23. ('15','vorname', 'Sonja'),
24. ('16','strasse', 'Ortsgasse 9'),
25. ('17','plz', '16000'),
26. ('18','ort', 'Musterdorf');

Altdaten per SQL normalisieren

Wichtig bei der Analyse der Daten ist die Erkenntnis, dass jede Adresse aus sechs Elementen besteht und eine lückenlose, fortlaufende Nummerierung (Spalte "lfdnr") existiert. Diese Gruppe gilt es nun zu extrahieren und zusammen zu halten.

Listing 3:

1. /**
2. * MySQL
3. */
4. SELECT (SELECT wert FROM altdaten WHERE lfdnr = gruppe.von_nr ) AS knr,
5. (SELECT wert FROM altdaten WHERE lfdnr = gruppe.von_nr +1) AS name,
6. (SELECT wert FROM altdaten WHERE lfdnr = gruppe.von_nr +2) AS vorname,
7. (SELECT wert FROM altdaten WHERE lfdnr = gruppe.von_nr +3) AS strasse,
8. (SELECT wert FROM altdaten WHERE lfdnr = gruppe.von_nr +4) AS plz,
9. (SELECT wert FROM altdaten WHERE lfdnr = gruppe.von_nr +5) AS ort
10. FROM (SELECT von.lfdnr AS von_nr, bis.lfdnr AS bis_nr
11. FROM ( SELECT wert, MIN(lfdnr) AS lfdnr
12. FROM altdaten
13. WHERE feldname = 'knr'
14. GROUP BY wert
15. ) von
17. JOIN ( SELECT wert, MIN(lfdnr) AS lfdnr
18. FROM altdaten
19. WHERE feldname = 'ort'
20. GROUP BY wert
21. ) bis
22. ON von.lfdnr = bis.lfdnr - 5
23. ) gruppe
24. ORDER BY gruppe.von_nr;
26. +-------+---------+---------+---------------+-------+-------------+
27. | knr | name | vorname | strasse | plz | ort |
28. +-------+---------+---------+---------------+-------+-------------+
29. | 00001 | Maier | Meike | Maiweg 7 | 12000 | Musterort |
30. | 00002 | Schmitt | Stefan | Stadtgasse 14 | 14000 | Musterstadt |
31. | 00003 | Schulz | Sonja | Ortsgasse 9 | 16000 | Musterdorf |
32. +-------+---------+---------+---------------+-------+-------------+
33. 3 rows in set (0.03 sec)

Wichtig bei der SQL-Abfrage (Liste 4:) ist die Überprüfung auf das 1. Element der Datengruppe - also das Feld "knr" - sowie auf das letzte Element - die Spalte "ort". Damit die Datengruppe komplett ist, muß zwischen der ersten und der letzten "lfdnr" dieser Gruppe ( 1 - 6 ) der absolute Wert "sechs Elemente" herauskommen. Dann ist die Gruppe komplett.

Resumee

Die SQL-Abfrage normalisiert die seriellen Daten in ein typisches Tabellenformat. Die Ausgabe kann nun weiter verarbeitet werden.

https://twiedmann.de