Auktionsplattform hat Big Data mit Talend im Griff

Talend Data Integration bei Emesa Nederland BV.
Wir schätzen an Open-Source insbesondere die Intelligenz der Community. Im Zusammenspiel mit professionellen Anbietern ist dieser Ansatz aus unserer Sicht dem klassischen Softwaremodell klar überlegen.
Andre Buren, Chief Technology Officer (CTO)

Der Kunde

Emesa Nederland BV ist das führende e-Commerce Unternehmen der Niederlande, das es Kunden ermöglicht Events, Urlaube, Freizeitaktivitäten sowie Musicals, Beauty-, Spa- und Wellness-Arrangements online zu suchen, vergleichen und zu buchen. Zu den von Emesa betriebenen Webseiten zählen die Websites des Jahres 2010, VakantieVeilingen.nl, und 2009, InpakkenenWegwezen.nl, in den Niederlanden. In Deutschland ist Emesa seit 2011 mit dem Portal Aladoo.de vertreten.

In den Niederlanden erreicht Emesa wöchentlich mehr als fünf Millionen Abonnenten mit ihrem E-Newsletter. Die Websites von Emesa werden jährlich von über 95 Millionen Besuchern aufgerufen. 2011 haben drei Millionen Verbraucher Transaktionen über Emesa getätigt und dem Unternehmen einen Umsatz von mehr als 125 Mio. Euro beschert. In den vergangenen fünf Jahren ist der Umsatz um rund 3.500 Prozent gewachsen. Bei Emesa Nederland in Amsterdam sorgen über 140 Mitarbeiter für den Unterschied im Onlinereisemarkt. In der deutschen Zentrale in Köln wird Emesa Deutschland bis zum Jahresende etwa 45 Mitarbeiter beschäftigen.

Die Herausforderung

In Deutschland können sich Nutzer auf der Website aladoo.de gratis anmelden und sofort auf ein riesiges Angebot an Freizeitprodukten mitbieten ‑ angefangen von Hotelübernachtungen, Ferienhäusern und Wochenendarrangements für Schönheitsfarmen und Wellnessresorts bis hin zu Eintrittskarten für Sportveranstaltungen, Konzerte und Freizeitparks. Emesa unterscheidet sich durch seine einzigartige Auktionsplattform von allen anderen Anbietern, denn hier bestimmt der Verbraucher selbst mit seinem Gebot den Preis. Jede Auktion startet bei Null. Bei einer gewonnenen Versteigerung zahlt der Nutzer den gebotenen Betrag direkt an Aladoo. Im Gegensatz zu anderen Anbietern tritt Aladoo nicht als Makler auf und verlangt auch keine Provision. Aladoo ist immer der direkte Vertragspartner des Nutzers und teilt sämtliche finanzielle Verantwortlichkeiten mit seinen Kooperationspartnern.

Im Mittelpunkt der IT-Infrastruktur von Emesa steht die 2010 entwickelte Auktionsplattform. Die Eigenentwicklung ist in der Lage, auch bei massivem Datenverkehr zuverlässig die Transaktionen abzuwickeln. Für die Verarbeitung der abgeschlossenen Transaktionen kommt ein ERP-System des niederländischen Softwareanbieters Afas zum Einsatz, Kundendaten werden mit der Open-Source-Lösung von SugarCRM verarbeitet. Diese drei Systeme arbeiten jeweils mit MySQL-Datenbanken und produzieren unter Hochdruck enorme Datenmengen – pro Tag rufen 300.000 Besucher die Webseiten auf, die Zahl der täglich abgewickelten Auktionen ist mehrfach fünfstellig.
Die anfallenden „Big Data“ aus Transaktionen und Kunden-Interaktionen werden in einem zentralen Data Warehouse gesammelt und den Anwendungen bereitgestellt. Aktuell umfasst das Data Warehouse, das auf einer Datenbank der EMC-Tochter Greenplum basiert, bereits ein Datenvolumen von mehr als einem Terabyte und wächst kontinuierlich weiter an. Der Datenbestand bildet auch die Grundlage für das unternehmensweite Berichtswese. Für das Reporting setzt Emesa die Business-Intelligence-Lösung Qlikview ein.

„Unsere Plattform bringt Anbieter und Kunden auf eine sehr transparente und einfache Art und Weise zusammen“, erläutert Emesa-CTO Andre Buren. „Unser Slogan ‚Just Enjoy‘ macht deutlich, dass wir unseren Kunden ein einmaliges Einkaufserlebnis bieten wollen, das vor allem durch eine extrem einfache Bedienung besticht. Der Preis für diese Einfachheit bei den Transaktionen ist aber eine enorme Komplexität bei den eingesetzten IT-Systemen. Im Mittelpunkt steht dabei als Handelssystem die von uns selbst entwickelte Auktionsplattform. Diese von der Plattform produzierten Big Data müssen von uns nahezu in Echtzeit verarbeitet werden.“

Die Talend-Lösung

„An diesem Punkt standen wir vor der Herausforderung, eine Lösung zu finden, die unter extremen Bedingungen den Datenaustausch zwischen dem Data-Warehouse und den MySQL-Datenbanken auf der einen und Qlikview auf der anderen Seite bewerkstelligt“, erinnert sich Arno Pont, Geschäftsführer von WeDoBi, einem auf Business-Intelligence-Projekte spezialisierten Systemhaus in den Niederlanden. „Insbesondere das Reporting mit Qlikview bereitete Emesa Schwierigkeiten, da die Software mit den Datenmengen und häufigen Aktualisierungen des Data Warehouses nicht zurechtkam.“

Emesa ist sehr offen gegenüber Open-Source-Lösungen und nutzt als Open-Source affines Unternehmen den kompletten „LAMP Stack“ aus Linux (Betriebssystem), Apache (Webserver), MySQL (Datenbanksystem) und PHP. „Wir schätzen an Open-Source insbesondere die Intelligenz der Community. Im Zusammenspiel mit professionellen Anbietern ist dieser Ansatz aus unserer Sicht dem klassischen Softwaremodell klar überlegen“, so Andre Buren. Vor diesem Hintergrund empfahlen die Consultants von WeDoBI die Integrationsplattform von Talend.

Zu Testzwecken wurde zunächst die kostenlose Community-Version der Talend-Software, Talend Open Studio for Data Integration, eingerichtet und unter realen Bedingungen eingehend geprüft. Für die Produktionsumgebung wurde dann die kommerzielle Version Talend Data Integration eingekauft, die neben zusätzlichen Funktionen für Hochleistungsumgebungen auch professionellen Support durch den Anbieter mit einschließt. Aktuell setzt Emesa eine Enterprise-Lizenz und diverse Team-Lizenzen von Talend ein. Als zentrale Datenintegrationsplattform bei Emesa steuert Talend den Datenaustausch zwischen dem Data Warehouse, den MySQL-Datenbanken der einzelnen Anwendungen sowie der BI-Lösung von Qlikview. Die Talend-Lösung arbeitet in beide Richtungen: Zum einen lädt sie für die Applikationen Daten aus dem Data Warehouse in die einzelnen Datenbanken. Zum anderen werden Daten, die im Zuge von Transaktionen oder Kunden-Interaktionen entstehen, aus den MySQL-Datenbanken entnommen, in ein einheitliches Format umgewandelt und in das Data Warehouse geladen. Die Plattform hat dabei unter Beweis gestellt, dass sie auch extreme Anforderungen mit Big Data zuverlässig abdecken kann.

Vorteile

„Unsere IT zeichnet sich vor allem durch ihre Leistungsfähigkeit, Flexibilität und Skalierbarkeit aus – alles Eigenschaften, die auch auf die Talend-Lösung zutreffen“, fasst Andre Buren zusammen. „Bei uns arbeiten 20 Entwickler mit der Talend-Software. Besonders überzeugt haben uns in der Arbeit mit Talend die leicht zu bedienende grafische Benutzeroberfläche und der modulare, auf Komponenten basierende Aufbau der Plattform, der uns jede Option auf zukünftige Erweiterungen offen hält.“ Derzeit testet Emesa beispielsweise die neue Big-Data-Version der Talend-Software und prüft eine Erweiterung in Richtung Data-Quality.

Die leistungsfähige Datenintegrationsplattform ermöglicht es Emesa, spezielle Marketingkampagnen häufiger zu starten – etwa Angebote, die auf eine ältere Zielgruppe abgestimmt sind oder sich auf bestimmte Orte beziehen. Die Skalierbarkeit der gesamten Infrastruktur bildet auch die Grundlage für die weiteren Expansionspläne von Emesa. „Wir sind unangefochtener Marktführer in den Niederlanden und wollen jetzt zuerst in Deutschland Fuß fassen und danach den europäischen Markt erobern. Unsere Plattform ist von vornherein auf mehrere Länder und Sprachen ausgelegt, so dass unserer Expansion aus technischer Sicht keine Grenzen gesetzt sind“, erläutert Andre Buren. „In diesem Konstrukt spielt Talend eine wichtige Rolle, die wir in Zukunft noch weiter ausbauen wollen.“