ETAI vereinheitlicht seine Datenproduktionsarchitektur

Talend Open Studio automatisiert die Integration uneinheitlicher Daten und erhöht die Qualität von Produktionstasks enorm.
Wenn wir die Fertigungskette für die Lieferungsdatenbank starten, wissen wir, dass sie fehlerfrei ablaufen wird, und dass wir die konsolidierten Daten nicht editieren müssen. Das Open-Source-Modell von Talend führt zwar nicht zu einer völligen Aufhebung aller Kosten, allerdings reduziert es sie v.a. in der Einführungsphase drastisch und macht sie leichter einschätzbar.
Philippe Bobo, Software und IS-Direktor

Datenspezialisten

Die weitreichende Erfahrung und der Medienmix von ETAI beziehen sich auf drei Bereiche: Autoindustrie, Herstellung und Einzelhandel. Das Unternehmen bietet hier verschiedene Informationslösungen: Datenbanken, Software, Konventionen, Trade- Shows und Magazine. Bei 400 Angestellten erzielt ETAI Umsätze von 60 Millionen Euro (80 Millionen USD).

ETAI erstellt hauptsächlich neue Daten und verkauft sie. Für die Automobilindustrie zum Beispiel sammelt ETAI die Rohdaten von Herstellern (Autos, Autoteile). ETAI konsolidiert und vereinigt diese Daten und verkauft Anwendungen, die auf der neu erstellten technischen Datenbank basieren. Diese Produkte werden zum Beispiel Autohändlern oder Werkstätten als DVD oder über das Internet zur Verfügung gestellt.

Komplexe Datenarchitektur

Um Anwendungen für die Automobilindustrie zu schreiben, sammelt ETAI Informationen über Fahrzeuge (über 50.000), Ersatzteile, gleichwertige Teile, Eignung von Teilen für bestimmte Fahrzeuge, Reparaturdauer und -techniken, Kosten usw.

„Wir haben es mit einem riesen Industriezweig zu tun und es gibt keinen Datenstandard“, erklärt Philippe Bobo, Software- und IT-Direktor bei ETAI. „Wir bekommen unsere Daten nicht nur in sehr unterschiedlichen Formaten sondern auch in gedruckter Form. Hier müssen wir dann per Hand kodieren. Wir entschieden, die Anwendungen zur Dateneingabe in einem möglichst effizienten Format zu halten, um die Produktivität zu erhöhen und die Kosten für Updates zu reduzieren.“

Folglich müssen jedes mal, wenn eine neue Version einer Datenbanksoftware (mehr als hundertmal pro Jahr) erscheint, alle Repositorien verarbeitet werden, was auch Datenkonsolidierung, -vereinigung und -bereinigung einschließt. „Das kostet sehr viel Zeit und Ressourcen und man sieht sich immer Herausforderungen in Bezug auf die Datenqualität gegenüber“, so Philippe Bobo. „Wir hatten immer mehrere Programme in Access, Java, Python, PL/SQL usw. laufen. Außerdem müssen hierbei viele Schritte manuell erledigt werden und bedürfen großer Erfahrung.“

Umgekehrt war es in anderen Bereichen von ETAI (Verzeichnisse, Magazine, Trade- Shows usw.) sinnvoll, nicht-technische Repositorien zu konsolidieren, um sich die Ähnlichkeit bestimmter Datenmodelle zunutze zu machen.

„Wir waren auf der Suche nach einer Lösung zur Datenintegration, die nicht nur den Fertigungsprozess der technischen Fahrzeugdatenbanken automatisieren, sondern auch alle Datenmanagementsysteme für die restlichen Gewerben von ETAI vereinen konnte“, so Philippe Bobo. „Es war sehr wichtig ein einzelnes Produkt zu finden, das all unsere Bedürfnisse erfüllte, da sogar unsere internen Systeme dieselbe Datenintegrationsumgebung nutzen.“

Erweiterte Marktforschung

„Wir gingen bei der Suche nach einem geeigneten Tool sehr methodisch vor. Consultants von Apsia halfen uns bei der Analyse unserer manuellen und automatischen Integrationsprozesse“, erinnert sich Philippe Bobo. „Daraufhin wählten wir für ein Pilotprojekt mehrere Produkte aus, die unseren Hauptkriterien entsprachen, also der Anwendbarkeit auf unser gesamtes Unternehmen sowie der Fähigkeit mit den großen Datenmengen der Automobildatenbanken umzugehen.“

Wir gaben den Anbietern, deren Lösungen innerhalb unseres Budgets lagen, verschiedene Szenarien zur Bearbeitung. „Verglichen mit proprietären Lösungen bietet Talend Open Studio größere Flexibilität“, so Philippe Bobo. „Das Tool kam mit unserem Beispiel sehr gut zurecht. Das liegt zum Teil daran, dass es auf Standardprogrammiersprachen und Komponentenbibliotheken beruht, die bereits verfügbar sind. Dadurch wird die Einarbeitungszeit unseres Teams verkürzt.

Talend Open Studio war außerdem am schnellsten. Es verarbeitete 2 Millionen Einträge 30-50% schneller als seine Mitstreiter und unsere Eigenentwicklung.

Neben der Komplexität der Datenkonsolidierung und -vereinigung war auch die unterschiedliche Beschaffenheit der Datenquellen eine große Herausforderung für uns. Zu den Datenquellen von ETAI gehören MySQL, DB2/400, Access, SQL Server, Oracle, Excel, XML usw.

Die Herstellerdaten kommen normalerweise in komplexen Flat Files: Die technische Datenbank wird auf Oracle bereitgestellt, aber von MySQL bearbeitet, während die Back-End-Systeme des Unternehmens auf AS/400 laufen. Gute Konnektivität war also sehr wichtig für uns.

Auswahl der ersten verfügbaren Open-Source-Lösung zur Datenintegration

Nachdem jeder Anbieter ein Muster erstellt hatte, verglich ETAI die Ergebnisse und gewichtete die einzelnen Kriterien nach dem Risiko, das sie für den Erfolg der Projekte darstellten. Dabei waren v.a. Leistungsfähigkeit, Ausstattung, Belastbarkeit des Anbieters, sein Standort und seine Bereitschaft zur Langzeitunterstützung von ETAI von Bedeutung. Wir entschieden uns für die Lösung von Talend, da diese unsere Bedürfnisse am besten erfüllte.

„Der Kostenfaktor spielte natürlich auch eine Rolle“, so Philippe Bobo. „Aus Budgetgründen hätte das traditionelle Lizenzmodell die Einführung der Software an unseren sieben Standorten verzögert. Das Open-Source-Modell von Talend führt zwar nicht zu einer völligen Aufhebung aller Kosten, allerdings reduziert es sie v.a. in der Einführungsphase drastisch und macht sie leichter einschätzbar.“

Das erste Projekt, das ETAI mithilfe von Talend Open Studio erstellt simuliert die tägliche Konsolidierung aller Datenrepositorien. Diese Simulation ermöglicht das sofortige Aufspüren und Reparieren widersprüchlicher Daten. „Dank dieser täglichen Tests können wir nun die Qualität unserer Daten kontrollieren. Wenn wir die Fertigungskette für die Lieferungsdatenbank starten, wissen wir, dass sie fehlerfrei ablaufen wird, und dass wir die konsolidierten Daten nicht editieren müssen.“

Um Talend Open Studio so effizient wie möglich zu nutzen, entschloss sich ETAI, das Service-Angebot von Talend anzunehmen. Wir ließen unsere IT-Teams Trainingskurse für Fortgeschrittene besuchen und ETAI meldete sich für Support auf Goldniveau an, was uns vertraglich festgelegte Reaktionszeiten auf Anfragen garantierte. Außerdem besucht uns regelmäßig ein professioneller Talend-Consultant, um die Entwicklerteams zu unterstützen.

„Der von Talend angebotene Support ist hervorragend, ganz wie wir es von Anfang an wollten“, bestätigt Philippe Bobo. „Das enorme Fachwissen und die Professionalität der Consultants, mit denen wir gearbeitet haben, sind ein großes Plus“.