Talend Integration Suite bei ewz Telecom

Datenmanagement für Zürcher Breitband-Internet
Mit Talend haben wir uns definitiv für die richtige Lösung entschieden, vor allem, was die schnelle und einfache Umstellung, die Vielfalt von Konnektoren und Performance bei grossen Datenmengen angeht.
Cyril Zenger, OSS/BSS Engineer

In der Schweizer Telekommunikationsbranche ist 2008 eine neue Zeit angebrochen: Mit der Zustimmung der Zürcher Stimmberechtigten wurde dem Elektrizitätswerk der Stadt Zürich (ewz) ein Rahmenkredit für den Bau und Betrieb eines Breitbandnetzes auf Basis des ewz-Glasfasernetzes zur Modernisierung der Kommunikationsinfrastruktur bewilligt. Binnen weniger Jahre hat der für die neue Technologie zuständige Geschäftsbereich Telecom von ewz im Bereich „Fiber to the Home“ Pionierarbeit geleistet und erreicht mit ewz.zürinet aktuell bereits 16.000 Haushalte.
Digitales Fernsehen, Internet und Telefonie (Stichwort Triple-Play) stehen mit zum Teil atemberaubenden Bandbreiten zur Verfügung und sind gleichzeitig günstiger geworden. ewz.zürinet findet auch bei Service Providern grossen Anklang: Als erster Service Provider bot Orange seine Dienste über ewz.zürinet an. Aktuell bieten zwölf Service Provider eine Vielzahl von einzelnen Services und Service-Pakete über ewz.zürinet an.
Daneben bietet Telecom von ewz (kurz ewz) auch professionelle Services für Geschäftskundinnen und -kunden und Telekom-Anbieter an, vor allem leistungsfähige optische Verbindungen von Local Area Networks (LAN) und Rechenzentren/Storage Area Networks (SAN) innerhalb Zürichs. Für all diese Services benötigt man eine solide Hochleistungs-IT-Architektur mit effizientem Datenmanagement. Beim Aufbau der dazu notwendigen Datendrehscheibe und dem Thema Datenintegration vertraut ewz auf die Open-Source-basierende Talend Integration Suite.

Die Herausforderung

„Telekom-Services lassen sich nur dann wettbewerbsfähig anbieten, wenn die zugrunde liegende IT die Geschäftsprozesse optimal unterstützt. Dies gilt insbesondere dann, wenn neben internen Anwendungen und Nutzern auch externe Kunden wie Orange auf Stammdaten zugreifen müssen“, erklärt Cyril Zenger, als OSS/ BSS Engineer verantwortlich für Operation undIT- Support bei ewz. „Hier, das war uns von Anfang an klar, mussten wir eine leistungsfähige Infrastruktur für das Datenmanagement mit aufbauen.“
Zu Beginn des Projektes ewz.zürinet standen der technische Aufbau und Betrieb des Glasfasernetzwerkes im Vordergrund. Die IT-Unterstützung der Geschäftsprozesse, beispielsweise für Abrechnungen oder den Service, sollten erst im nächsten Schritt im Fokus stehen. Das galt gleichermassen für das Thema Datenmanagement: Unterschiedliche Datenformate, verschiedene Speicherorte und Transferprotokolle sowie der zum Teil nicht optimale Zugriff auf die Daten störten am Anfang nicht wirklich. Mit dem Erfolg und Wachstum stiegen aber sowohl die Datenmengen als auch die Anforderungen der verschiedenen Anwendungen und der Service Provider.
„Mit unserem ewz.zürinet sind wir sehr erfolgreich: wir haben unsere geplanten Zuwachsraten klar übertroffen und müssen schneller neue Anschlüsse bereit stellen als geplant. Auch das Volumen der Stammdaten, zu denen neben den kundenbezogenen Daten auch alle Netzdaten gehören, wächst rasant“, erläutert Cyril Zenger. „Das hat letztlich zur Folge, dass Prozesse und Anwendungen bisher nur eingeschränkt auf benötigte Stammdaten zugreifen können.“ Um diese Lücke zu schließen, begann man 2009 mit dem Aufbau eines zentralen Stammdaten-Hubs, der mittels einer zentralen Datenintegrationslösung gefüllt werden sollte.
Bis etwa Mitte 2010 verfügte ewz über eine „Point-to-Point“-Architektur, bei der Daten in verschiedenen Systemen und diversen Rechnersystem lagern und jedes System beziehungsweise jede Anwendung bei Bedarf darauf zugreift. In dieser sternförmigen Architektur ist ein Datenaustausch zwischen verschiedenen Knoten möglich, aber ab einer gewissen Komplexität nicht mehr effizient. Das Fehlen gemeinsamer Protokolle, proprietäre Schnittstellen, ein geringer Automatisierungsgrad, mangelhafte Datenqualität und die Zahl der Schnittstellen machen vor allem die Verwaltung und Wartung sehr schwierig.
Ziel war daher der Aufbau eine EII-Plattform (Enterprise Information Integration) mit einer zentralen Datendrehscheibe, in die das ewz-Geschäftsdatenmodell implementiert ist und auf die alle Anwendungen zugreifen können. Vorteile dieser zentralen Datenhaltung sind eine transparente Datenqualität, ein definierter Dateninhalt, eine höhere Verfügbarkeit der Daten und vor allem weniger Schnittstellen zwischen den Systemen – die zudem automatisch adressiert werden können.

Die Talend-Lösung

In der sechs Monate dauernden Konzeptionsphase stützte man sich auf das „Zachman Framework“ zur Entwicklung von Informationssystemen. Erst als das konzeptionelle Datenmodell mit allen Entitäten stand, begab man sich auf die Suche nach einem Softwareanbieter, der die Integration der Daten entsprechend umsetzen kann. Eine erste Recherche nach möglichen Lösungen erfolgte über das Internet, im Anschluss wurden die in Frage kommenden Anbieter einer intensiven Evaluation unterzogen. Wichtige Auswahlkriterien waren neben der Abdeckung zahlreicher, definierter Funktionen vor allem ein attraktives Preis-/ Leistungsverhältnis sowie positive Erfahrungen anderer Anwender oder Systemhäuser. Auf Grund der hohen Lizenzkosten kamen die Standardlösungen der etablierten Anbieter IBM und Informatica letzten Endes nicht in Frage, der Mehrwert gegenüber der letztlich gewählten Talend Integration Suite war für die Verantwortlichen letztlich zu gering. Für Talend sprachen neben dem Funktionsumfang, der kaum Wünsche offen ließ, die Vielzahl existierender Konnektoren und hier insbesondere die Anbindung von Filemaker, die kein anderer Anbieter annähernd elegant lösen konnte. Ausserdem überzeugten die offene User-Community, die bei Fragen schnell weiterhelfen kann, das positive Feedback der zu Rate gezogenen Anwender und Consultants sowie Transparenz der Lösung: Als Code-Generator erzeugt Talend Programmcode in Java oder Perl, der von erfahrenen Anwendern jederzeit eingesehen und modifiziert werden kann. 
Der Aufbau des Stammdaten-Hubs begann mit der Überführung des konzeptionellen Datenmodells in ein logisches Datenmodell. Hierbei wurde zuerst definiert, welche Daten aus welchen Quellen unter Anwendung welcher Transformationsregeln entnommen und wohin sie dann geladen werden. Darauf folgte die Erstellung der Talend-Jobs mit Hilfe des integrierten, grafischen Modellierungswerkzeugs, mit dem auch komplexe ETL-Prozesse per „drag & drop“ erstellt werden können. Bei der Konzeptionierung und Entwicklung der ETL-Prozesse arbeitete ewz Telecom eng mit der rubcom GmbH zusammen, einem Talend Platinum Partner. Die Implementierung erwies sich trotz der Komplexität des Projektes als sehr einfach und konnte binnen weniger Wochen realisiert werden. Insgesamt nutzt ewz aktuell zwei Lizenzen der Talend Integration Suite mit sechs Anwendern.

Die Vorteile

Im Sommer 2010 begann das Team um Cyril Zenger mit dem Aufbau der Architektur des Stammdaten-Hubs. Vor der Transformation werden die Daten aus Performancegründen zuerst in einen Offline-Data-Store geladen. Neben den Datenbanken Oracle, MSSQL, MySQL und Filemaker mussten dabei auch Dateitypen wie Excel, CSV und XML berücksichtigt werden. Bei den Daten handelt es sich vorwiegend um Kunden- und Netzdaten mit Informationen rund um die Anschlüsse und das gesamte Glasfasernetzwerk. Alle diese Daten werden zur Steigerung der Datenqualität auf Fehler und Dubletten überprüft, bevor sie dann umgewandelt und Anwendungen wie Abrechnungssystemen, Kommissionierung, Kundenver-waltung, Netzdokumentationssystemen oder SAP intern und extern zur Verfügung gestellt werden. Auch das Scheduling, also die zeit- und ereignisabhängige Planung und Steuerung der ETL-Prozesse, erfolgt mit dem in Talend integrierten „Admin-Center“. 
Insgesamt liegen in den Datenquellen rund 1,5 Millionen Stammdatensätze, die jede Nacht auf den zentralen Hub gezogen werden. In der bisherigen Point-to-Point-Umgebung wurde der Transfer halb-automatisch und relativ langsam mit diversen, eigenentwickelten Middleware-Anwendungen durchgeführt. Mit Talend, das zeigen Tests, kann das gesamte Datenvolumen innerhalb von 45 Minuten bewegt werden. Künftig werden zu diesen internen auch externe Datenquellen von Partnern, Kunden und vor allem von anderen Stadtwerken kommen, die das System von ewz nutzen wollen. Aus dem Grund hat man bei der Entwicklung von Anfang an auch die Mandantenfähigkeit des Systems im Blick gehabt. Mit Talend ist ewz dabei zukunftssicher aufgestellt, zu den meisten in Frage kommenden Datenquellen gibt es bereits Konnektoren, weitere Anbindungen oder Anpassungen lassen sich leicht selbst oder gemeinsam mit Talend erstellen.
Besonders angetan ist Cyril Zenger von der Unterstützung durch die Community und den Hersteller Talend. Bei einfachen Fragen findet sich fast immer jemand, der dieses Problem bereits gelöst hat und Tipps geben kann. Komplexere Probleme löst der Talend-Support schnell und effektiv. Die Installation wird in den kommenden Jahren weiter wachsen, mittelfristig soll der Stammdaten-Hub auch als Grundlage für ein Data-Mart und Data-Warehouse genutzt werden, um Business-Intelligence-Aspekte wie Analysen und Berichte zu realisieren. Auch dabei wird die Talend Integration Suite eine zentrale Rolle spielen. Hinzu kommt, dass Ende 2009 die Swisscom und ewz beschlossen haben, den Ausbau des Glasfasernetzes in Zürich gemeinsam weiter voranzutreiben. Bis Ende 2017 wird man rund 430 Millionen Franken investieren, um so über 200.000 Haushalte und Unternehmen mit Glasfaseranschlüssen erreichen zu können „Mit Talend haben wir uns definitiv für die richtige Lösung entschieden, vor allem, was die schnelle und einfache Umstellung, die Vielfalt von Konnektoren und Performance bei grossen Datenmengen angeht“, so das Fazit von Cyril Zenger. „Die Datenmengen, die bei einem solch grossen Netz anfallen, können wir nur noch mit dem zentralen Data Hub und der Talend Integration Suite in den Griff bekommen. Als sehr angenehm empfinden wir auch die Lizenzpolitik von Talend: unser Unternehmens- und Datenvolumenwachstum wirkt sich nicht auf die Lizenzkosten aus. Das schont unser Budget und gibt uns Planungssicherheit.“