Talend integriert weltweite Daten bei Delivery Hero

Online Essen bestellen par excellence durch Big Data
Talend lässt sich leicht implementieren sowie elegant anpassen und die Stabilität sowie Felxibilität überzeugen. Alle unsere Quellsysteme lassen sich dank der verfügbaren Konnektoren leicht anschließen.
Brian Leonard, , Head of Data Warehouse bei Delivery Hero

Der Kunde

Dein Hunger. Unsere Mission! Dies ist das Motto der 2010 in Berlin gegründeten Firma Delivery Hero. Über eine Online-Bestellplattform können Kunden von ihrem Rechner aus oder mobil bei teilnehmenden Restaurants ihr Essen ordern. Heute ist Delivery Hero eine der weltweit größten Plattformen für Online-Bestellungen von Essen. Aktuell beschäftigt man rund 650 Mitarbeiter in 21 Ländern auf vier Kontinenten und hat mehr als 60.000 Restaurants als Partner. Dabei tritt man in den verschiedenen Ländern mit den dort bekannten lokalen Marken auf. In Deutschland ist dies die Lieferheld GmbH, die eine 100 prozentige Tochter der global agierenden Delivery Hero Holding ist.

Daten spielen eine zentrale Rolle für den Erfolg des Unternehmens, denn nur wer weiß, was seine Kunden mögen, kann schnell auf deren Bedürfnisse eingehen und sich vom Wettbewerb absetzen. Die tagesaktuelle Integration der weltweit anfallenden Kunden- und Bestelldaten und vor allem die Analyse dieser Daten sind eine wichtige Basis für die Zukunft des Unternehmens. Hier spielt Integrationstechnologie von Talend eine tragende Rolle.

Die Herausforderung

Warum sind in einem Land Pizzerien am erfolgreichsten und in einem anderen asiatische Restaurants? Wieso erzielt man in fast allen Ländern zwischen 22 und 23 Uhr hohen Umsatz - in einigen Ländern hingegen fast gar keinen? Wie sieht der optimale Mix an teilnehmenden Restaurants aus? Dies sind nur einige Fragen, die sich die Business-Analysten von Delivery Hero täglich stellen. Einerseits, um die Erfolge aus einem Land auf ein anderes kopieren zu können, andererseits, um den angeschlossenen Restaurants Tipps zu geben, wie sie mehr Umsatz erzielen können.

„Für unseren Unternehmenserfolg ist neben vielen Restaurants und schnellem Service vor allem die Auswertung der überall anfallenden Daten verantwortlich“, erklärt Brian Leonard, Head of Data Warehouse bei Delivery Hero. „Die Daten an sich haben wir natürlich, aber sie liegen verstreut in 21 Ländern und haben die unterschiedlichsten Formate. Wir standen daher vor der Herausforderung, uns diese Big Data zu Nutze zu machen.“

Die Business-Analysten konnten zwar schon früher Analysen erstellen, hatten dabei jedoch nur Zugriff auf lokal vorliegende Daten. Ein Blick über den Tellerrand in andere Länder war nicht möglich. Grund dafür war das Fehlen eines zentralen Data-Warehouses und vor allem, dass die unterschiedlichsten Datenbanken genutzt wurden und werden. Die Palette reicht dabei von MySQL über PostgreSQL bis hin zu Excel.

Benötigt wurde eine Lösung, die sicher und flexibel die lokalen Daten weltweit einsammelt, transformiert und in einem zentralen Data-Warehouse ablegt - möglichst binnen weniger Minuten, damit man auf aktuellsten Daten aufsetzen kann. Darüber hinaus wurde eine Integration zwischen Salesforce, dem eingesetzten System für Vertrieb und Kundenservice, und der Backend-Datenbank benötigt. Auch eine API für die Analyse von Big Data stand auf der Wunschliste sowie die Unterstützung von Tools wie Excel, BIME und GoodData, damit nicht nur Business-Analysten sondern auch Anwender aus anderen Fachabteilungen Berichte erstellen und abrufen können.

Der Versuch die Anforderungen mit Pentaho und shell scripts zu lösen, schlug aus Performance- und Flexibilitätsgründen fehl, so dass sich das Data-Warehouse-Team auf die Suche nach einer Datenintegrationslösung begab.

Die Talend-Lösung

Dabei evaluierte man zuerst die Lösung von Talend, denn einer der Manager aus dem Data-Warehouse-Team hatte bereits in der Vergangenheit erfolgreich mit der Plattform gearbeitet. Um zu sehen, ob Talend den Anforderungen gewachsen ist, engagierte man einen Consultant von Talend, der vor Ort beim Kunden demonstrieren sollte, wie sich Talend in die bestehende IT-Umgebung einfügen und nutzen lässt. Dazu verknüpfte dieser Datenbanken aus drei Ländern, lud deren Daten herunter und transformierte diese „live“ in eine lokale Datenbank in Berlin. Aus diesem Datenbestand wurden dann testweise Analysen erstellt, die den Erfolg des Proof of Concept (PoC) bestätigten. „Da der Test mit der Talend so erfolgreich war, benötigten wir keine weiteren Marktstudien, zumal Talend Open Source nahe beim für uns wichtigen Thema Java angesiedelt ist“, blickt Brian Leonard zurück.

Die eigentliche Implementierung von Talend gelang in wenigen Tagen, die notwendig waren, um entsprechende Anpassungen vornehmen zu können. Als klassische ETL-Lösung (Extract, Transform, Load) ermöglichte diese dann den Abruf geänderter Daten aus 14 Ländern. Die erste Stufe des Prozesses bezeichnet man als „Pre-Staging Layer with ETL“. Der Download ins Data-Warehouse passiert bei einigen Ländern alle fünf Minuten, denn nur dann hat man passendes Datenmaterial. Im zweiten Schritt dem „Staging Layer with Talend“ werden die Daten aus dem ersten Layer von Talend in ein einheitliches Format gebracht und ins Data-Warehouse übertragen. Spätestens nach 15 Minuten hat Delivery Hero dann alle notwendigen Daten für Analysen zur Verfügung. Pro Monat fallen dabei circa 20 Gigabyte geänderte beziehungsweise neue Daten an – Tendenz steigend. „Talend stellt für uns aber nicht nur die nativen Verbindungen zu Datenbanken her, sondern bietet uns auch eine einfache Konnektivität zur Cloud-App Salesforce.com“, sagt Brian Leonard.

Vorteile

Seit Anfang 2014 integriert Talend mittlerweile die Daten aus den Ländern, in denen Delivery Hero  vertreten ist, und transformiert diese in das Data-Warehouse in Berlin. Mit diesem zentralen Datenmaterial können die Business-Analysten alle nur erdenklichen Anfragen starten und basierend auf den Ergebnissen den Kurs des Unternehmens festlegen. Aber nicht nur die Analysten, sondern auch die anderen Mitarbeiter nutzen immer mehr die Chance, sich Fragen basierend auf dem Datenmaterial beantworten zu lassen.

„Das Tolle für uns war und ist, dass man die Entwicklung der Datenintegration per 'drag & drop' durchführen kann und keine Notwendigkeit für klassische Programmierung besteht“, freut sich  Brian Leonard. „Und wenn einmal Programmierung gefragt ist, lässt sich alles, was man mit Java realisieren kann auch mit Talend umsetzen. Ein großes Plus für uns, denn Java-Know-how haben wir im Hause.“ Neue Jobs können die Mitarbeiter von Brian Leonard heute binnen 30 Minuten erstellen. Die Lösung läuft ohne jegliche Probleme. „Wenn einmal eine Fehlermeldung auftaucht, dann haben wir uns angewöhnt, erst gar nicht bei Talend nachzusehen, sondern uns gleich auf die Datenquellen zu fokussieren.“

Hinzu kommt, dass die Datenintegrationslösung dem Unternehmen jede Menge Zeit spart. Dies ist auch notwendig, denn die Datenmengen (Stichwort „Big Data“), die Datenvielfalt und die unterschiedlichen Datenquellen werden immer größer. „Ein neues Land zu integrieren, ist heute dank Talend wirklich kinderleicht“, so Brian Leonard. „Der Grund: Wir können bestehende Jobs und Prozesse wieder verwenden. Dies räumt einen bisher störenden Engpass aus dem Weg und erleichtert uns die weitere Expansion.“ In der Zukunft will man neben ETL auch weitere Funktionen von Talend nutzen. Bisher erledigt man die Themen Datenqualität und MDM noch mit Eigenentwicklungen, aber künftig will man dazu die in Talend integrierten Funktionen evaluieren und bei erfolgreichem Test auch nutzen.