Data Vault auf Databricks? Agile Data Engine zeigt, wie es geht.
Data Vault auf Databricks? Agile Data Engine zeigt, wie es geht.
Auf der „Willibald Challenge“ der Deutschsprachigen Data Vault User Group (DDVUG) e.V. hat der DataOps-Anbieter mit dem Modellierungsansatz ein Data Warehouse auf Databricks erstellt.
München, 6. März 2025. Die DDVUG hatte die Willibald Challenge 2023 ins Leben gerufen, damit Anbieter von Data Warehouse Automation zeigen können, wie sie allgemeine und fortgeschrittene Probleme im Zusammenhang mit dem Modellierungsansatz Data Vault lösen. Anhand eines zur Verfügung gestellten Beispieldatensatzes müssen sie verschiedene Aufgaben lösen. Dafür wurde eine fiktive Firma erschaffen: die Samen- und Pflanzenhandlung Willibald. Sie besteht aus zwei Datenbanken, die 13 typische Probleme bei der Erstellung eines Data Warehouse abbilden. Als siebter Anbieter hat sich – mit Databricks im Gepäck – vor kurzem das Solita-Tochterunternehmen Agile Data Engine (ADE) der Challenge gestellt. ADE präsentierte die kollaborative Lösung auch auf dem jüngsten Databricks Bootcamp am 20. Februar in Frankfurt am Main.
„Unsere Teilnahme an der Willibald Challenge hat sich als lohnende Erfahrung erwiesen, um die Fähigkeiten von Agile Data Engine in einem anspruchsvollen Umfeld zu testen“, erklärt Matti Karell, Managing Director von Agile Data Engine. „Die Unterstützung von Databricks für SQL-basierte Abfragen, Data Lineage und BI-Integration passte perfekt zu den Fähigkeiten unserer Plattform und unseren Zielen bei der Challenge.“
Die Kompatibilität zwischen Agile Data Engine und Databricks SQL ermöglichte es ADE, in kürzester Zeit ein stabiles, hochleistungsfähiges Data-Vault-Modell mit allen erforderlichen Komponenten einzurichten. Von multiaktiven und effektiven Satelliten bis hin zu transaktionalen und hierarchischen Verknüpfungen konnte Databricks fortschrittliche Data Vault-Komponenten problemlos verarbeiten, so dass Agile Data Engine komplexe Datenanforderungen ohne Engpässe unterstützen konnte.
Matti Karell: „Databricks' Unity Catalog Lineage Tracking brachte Transparenz und Effizienz in unsere Datenmanagement-Praktiken und machte es einfach, Datenflüsse und -transformationen über die gesamte Pipeline zu verfolgen. Resultat ist eine verbesserte Data Governance.“
Agile Data Engine unterstützt Unternehmen beim Entwurf, der Automatisierung und der Orchestrierung ihrer Data Vault-Implementierung. Die Implementierung eines Data Vault-Modells im großen Maßstab erfordert allerdings einen gewissen technischen Aufwand, um das Datenlayout der wachsenden Objekte zu optimieren. Predictive Optimization (PO) in Databricks vereinfacht diesen Prozess durch die Automatisierung der Tabellenverwaltung über Unity Catalog und die Data Intelligence Platform. PO optimiert auf intelligente Weise das Datenlayout für von Unity Catalog verwaltete Tabellen, was zu einer verbesserten Abfrageleistung und geringeren Speicherkosten führt.
Beim Aufbau von Datenplattformen hat man es mit zwei häufigen Herausforderungen zu tun: der Sicherstellung qualitativ hochwertiger Daten und ihrer schnellen Bereitstellung für die User. Oft ist jedoch unklar, ob diese alle verfügbaren Daten vollständig für Erkenntnisse und Entscheidungen nutzen können. Hier kommt AI/BI Genie von Databricks ins Spiel, eine KI-gestützte Schnittstelle mit Datenintelligenz, die es Business Usern ermöglicht, selbständig Datenanalysen in natürlicher Sprache durchzuführen. Weitere Funktionen, die ein Databricks Lakehouse ideal für die Implementierung von Data Vault mit Agile Data Engine machen, sind das Serverless Warehouse, Variant Datatype und Autoloader von Databricks.
Über Agile Data Engine
Agile Data Engine ist ein finnischer DataOps-Anbieter und Tochterunternehmen des Datenmanagementspezialisten Solita mit über 2.200 Beschäftigten. Kernprodukt von Agile Data Engine ist die gleichnamige All-in-One-Softwareplattform für die Entwicklung, Bereitstellung und den Betrieb von Datenprodukten und -Pipelines. Unternehmen können damit Cloud-Data-Warehouse-Prozesse automatisieren und ihr Data Warehouse optimal nutzen. Die erste Version der Plattform entstand 2016 im Rahmen von Solita-Datenprojekten. Bereits über 40 namhafte Kunden in den nordischen Ländern setzen das Produkt mittlerweile ein. Weiterentwicklung und Vertrieb der Plattform übernimmt seit 2022 die ausgegründete Agile Data Engine mit inzwischen mehr als 25 Beschäftigten. Die Unternehmenszentrale befindet sich in Helsinki, Deutschlandsitz ist München.
ADE Insights Oy
Matti Karell, CEO
Eteläesplanadi 8, 00130 Helsinki, Finland
Matti.karell@agiledataengine.com
Presse- und Öffentlichkeitsarbeit:
agentur auftakt, Frank Zscheile
Bergmannstr. 26, D-80339 München
+49-89-2622 4718
+49-177-3772477
presse@agentur-auftakt.de