Unterschied zwischen Data-Warehouse und Data-Lake
Kurz gesagt
Ein Data-Warehouse nutzt typischerweise kuratierte, modellierte Daten für wiederkehrende Analysen. Ein Data-Lake bewahrt häufiger vielfältige, teils unveränderte Daten auf und legt Strukturen oft erst für konkrete Auswertungen fest. Das sind typische Muster, keine starren Grenzen; die Architekturen können sich überschneiden. Beide dienen der Analyse und können gemeinsam eingesetzt werden.
Der HauptunterschiedEin Data-Warehouse enthält meist kuratierte, modellierte Daten mit vorab festgelegter Struktur; ein Data-Lake speichert vielfältige Daten oft zunächst unverändert und strukturiert sie erst bei Bedarf.
Beide bündeln Daten für Analysen, unterscheiden sich aber in Aufbereitung, Struktur und typischer Nutzung.
Steckbriefe
Steckbrief: Data-Warehouse
Ein Data-Warehouse ist ein zentraler Datenbestand, in dem Daten aus verschiedenen Quellen vereinheitlicht und für Analysen organisiert werden. Es unterstützt besonders wiederkehrende Abfragen und Berichte.
- Aufbereitete, integrierte Daten
- Festgelegte Datenmodelle
- Optimiert für Berichte
Beispiel Ein Handelsunternehmen vergleicht im Data-Warehouse die monatlichen Umsätze seiner Filialen.
Steckbrief: Data-Lake
Ein Data-Lake ist ein Speicher für große Mengen an Daten aus unterschiedlichen Quellen und Formaten. Die Daten können zunächst unverändert gespeichert und erst bei ihrer Nutzung passend interpretiert oder aufbereitet werden.
- Vielfältige Datenformate
- Speicherung in ursprünglicher Form
- Struktur bei Bedarf
Beispiel Ein Verkehrsbetrieb speichert Fahrplandaten, Sensormessungen und Videoanalysen in einem Data-Lake.
Auf einen Blick
| Merkmal | Data-Warehouse | Data-Lake |
|---|---|---|
| Was ist es? | Zentraler, strukturierter Bestand aufbereiteter Daten | Speicher für Daten verschiedener Formen und Quellen |
| Typisch | Modellierte Tabellen und einheitliche Kennzahlen | Tabellen, Protokolle, Bilder oder Sensordaten |
| Wofür / wann? | Regelmäßige Berichte und definierte Geschäftsanalysen | Erkundende Analysen und unterschiedliche Datennutzungen |
| Beispiel | Umsatzbericht nach Monat und Filiale | Analyse von Fahrdaten und Sensormessungen |
| Zeitpunkt des Modells | Typischerweise wird die Struktur vor dem Laden festgelegt; es gibt Ausnahmen. | Häufig wird die Struktur erst beim Auswerten festgelegt; die Ansätze können sich überschneiden. |
| Datenzustand | Daten werden meist bereinigt und vereinheitlicht. | Daten können zunächst unverändert erhalten bleiben. |
| Zugang | Vorgefertigte Modelle erleichtern wiederholte Abfragen. | Zugriff erfordert oft passende Werkzeuge und Fachwissen. |
| Verantwortung | Definitionen und Kennzahlen werden zentral abgestimmt. | Kataloge und Regeln helfen, Daten auffindbar zu halten. |
Im Detail
Wie Daten in die Systeme gelangen
Beim Data-Warehouse werden Daten aus Quellsystemen üblicherweise vor dem Laden geprüft, bereinigt und in ein gemeinsames Modell überführt. Dabei lassen sich zum Beispiel unterschiedliche Schreibweisen für dieselbe Filiale vereinheitlichen. Die vorbereiteten Daten sollen danach konsistente Auswertungen ermöglichen.
Ein Data-Lake kann Daten zunächst in der Form aufnehmen, in der sie aus einer Quelle kommen. Dazu zählen neben Tabellen auch Protokolldateien, Texte, Bilder oder Messwerte. Für eine konkrete Analyse werden die passenden Daten ausgewählt und gegebenenfalls umgeformt.
Was Schema-on-write und Schema-on-read bedeuten
Für ein Data-Warehouse wird die erwartete Struktur in der Regel vor dem Speichern festgelegt. Dieses Vorgehen heißt Schema-on-write: Beim Einlesen müssen die Daten zum vorgesehenen Schema passen. Das erleichtert vergleichbare Abfragen, macht Änderungen am Modell aber planungsbedürftig.
Bei einem Data-Lake wird das Schema häufig erst festgelegt, wenn Daten gelesen und ausgewertet werden; dafür steht der Begriff Schema-on-read. So können Teams Daten zunächst für unterschiedliche Fragen aufbewahren. Die spätere Nutzung ist jedoch nicht automatisch einfach: Ohne Dokumentation und geeignete Verarbeitung bleibt unklar, was einzelne Werte bedeuten.
Qualität, Ordnung und Risiken
Ein Data-Warehouse schafft einen geregelten Bestand, in dem Kennzahlen und Datenbegriffe abgestimmt sein können. Das ist nützlich, wenn verschiedene Abteilungen denselben Umsatzwert vergleichen sollen. Die Verlässlichkeit hängt trotzdem von den Quellsystemen, den Prüfungen und der laufenden Pflege ab.
Ein Data-Lake ist nicht von sich aus ein ungeordneter Ablageplatz, aber seine Vielfalt verlangt Verwaltung. Ein Datenkatalog, Zugriffsregeln und Angaben zur Herkunft helfen, Bestände zu finden und richtig einzuordnen. Fehlen solche Maßnahmen, können veraltete, doppelte oder missverstandene Daten die Analyse erschweren.
Warum Unternehmen beide einsetzen
Die Systeme schließen einander nicht aus. Ein Data-Lake kann viele Rohdaten für neue oder noch nicht festgelegte Untersuchungen bewahren, während ein Data-Warehouse geprüfte Daten für wiederkehrende Berichte bereitstellt. Daten können aus dem Lake aufbereitet in das Warehouse gelangen; die konkrete Architektur hängt vom jeweiligen Bedarf ab.
Als Verbindung beider Ansätze gibt es sogenannte Lakehouse-Architekturen. Sie sollen Eigenschaften eines Data-Lakes, etwa den Umgang mit vielfältigen Daten, mit Funktionen für strukturierte Analysen verbinden. Der Begriff bezeichnet ein Architekturkonzept und nicht automatisch ein einzelnes Produkt oder eine überall identische Technik.
Wann nimmt man was?
- Wählen Sie ein Data-Warehouse, wenn wiederkehrende Berichte auf abgestimmten Kennzahlen beruhen sollen.
- Prüfen Sie einen Data-Lake, wenn viele Datenformate für spätere, unterschiedliche Analysen erhalten bleiben müssen.
- Klären Sie vorab, wer Datenqualität, Zugriffsrechte und Dokumentation verantwortet.
- Planen Sie beide Ansätze ein, wenn Rohdaten flexibel genutzt und zugleich geprüfte Berichte benötigt werden.
Gemeinsamkeiten
- Beide sammeln Daten aus mehreren Quellen.
- Beide können Analyse- und Entscheidungsprozesse unterstützen.
- Beide benötigen Zugriffsschutz und verlässliche Verwaltung.
Häufiger Irrtum
Irrtum: Ein Data-Lake enthält ausschließlich unstrukturierte Daten.
Richtig: Er kann strukturierte, teilstrukturierte und unstrukturierte Daten speichern, darunter auch gewöhnliche Tabellen.
Irrtum: Ein Data-Lake ist einfach ein großer Ordner ohne Regeln.
Richtig: Damit Daten auffindbar und nutzbar bleiben, braucht auch ein Data-Lake Kataloge, Zuständigkeiten und Zugriffsregeln.
Häufige Fragen
Was bedeutet Schema-on-read bei einem Data-Lake?
Die Struktur der Daten wird häufig erst beim Lesen für eine konkrete Auswertung festgelegt. Das erlaubt verschiedene Nutzungen derselben gespeicherten Daten, setzt aber voraus, dass ihre Bedeutung nachvollziehbar ist.
Kann ein Data-Lake ein Data-Warehouse ersetzen?
Das hängt davon ab, welche Aufgaben ein Unternehmen erfüllen muss. Für geprüfte, wiederkehrende Berichte kann ein Data-Warehouse weiterhin sinnvoll sein, während ein Lake vielfältige Daten für andere Analysen bereithält.
Was ist eine Lakehouse-Architektur?
Ein Lakehouse verbindet Ansätze aus Data-Lake und Data-Warehouse in einer gemeinsamen Architektur. Es soll sowohl vielfältige Daten als auch strukturierte Analysefunktionen unterstützen; die konkrete Umsetzung unterscheidet sich.
