Talend Open Studio

Talend Open Studio’s Business Modeler unterstützt den Top-Down Ansatz. Dieses ermöglicht die Einbindung von Geschäftsanwendern in das Design der Integrationsprozesse.
Der Business Modeler bietet eine verständliche und nicht technische Sichtweise des Geschäftprozesses. Typischerweise werden hierdurch sowohl die Systemlandschaft als auch existierende und zukünftige Prozesse innerhalb der Organisation abgebildet. Systeme, Verknüpfungen und einzelne Ablaufschritte werden mittels standardisierten Workflow Symbolen und einer graphischen Toolbox abgebildet.

Talend Open Studio’s Job Designer bietet sowohl eine graphische als auch eine funktionale Sichtweise des aktuellen Integrations-Prozesses.

Der Job Designer enthält eine graphische Darstellung aller verfügbaren Komponenten und Konnektoren – die Komponenten Bibliothek. Integrations-Prozesse werden mittels einfachen Drag and Drop Operationen erstellt. Hierzu werden Komponenten und Konnektoren auf den Arbeitsbereich gezogen, die Verbindungen graphisch definiert und die einzelnen Eigenschaften festgelegt. Die meisten Eigenschaften werden bereits aus den Metadaten übernommen.

Die Komponenten Bibliothek umfasst mehr als 80 sofort einsetzbare Komponenten und Konnektoren. Der Umfang reicht hierbei von einfachen Funktionen wie Mappings, Transformationen und Lookups bis hin zu spezialisierten Komponenten wie Data-Filtering, Data-Multiplexing oder ELT. Zusätzlich werden alle wichtigen Datenbanken(RDBMS), Dateiformate, LDAP Verzeichnisse, etc. unterstützt. Die Komponenten Bibliothek kann mittels Standardprogrammiersprachen wie Perl, Java oder SQL einfach erweitert werden.

Talend Open Studio ist eine von allen Modulen verwendete Metadaten gestützte Lösung, in der alle Informationen in einem Repositorie gespeichert und verwaltet werden. Dieses Metadatenrepositorie verbindet alle Projektinformationen und gewährleistet die Konsistenz über alle Integrations-Prozesse hinweg.

Der für die Integrations-Prozesse notwendige Bezug von Quell- und Ziel-System wird durch eine Reihe von Wizards unterstützt. Hierbei werden die relevanten Metadaten durch spezielle Datenbank- und Dateianalysen einfach ins Metadatenrepositorie geladen. Die im Metadatenrepositorie gespeicherten Eigenschaften werden von allen Prozessen verwendet.

Neben den Metadaten für das Quell- und Zielsystem, werden ferner noch Geschäftsmodelle, Integrations-Jobs und die Ausführungsergebnisse im Repositorie gespeichert. Dadurch ist eine einheitliche Informationsbasis jederzeit gewährleistet.

Talend Open Studio beinhaltet leistungsfähige Debugging- und Tuningfunktionen welche einen sofortigen Einblick(Real-Time) über den gesamten Transformationsprozess zur Laufzeit ermöglichen.

Wird ein Integrations-Job innerhalb des graphischen Job-Designers ausgeführt, so werden Real-Time Statistiken, die Anzahl von verarbeiteten und fehlerhaften Datensätzen, und auch der Durchsatz (Rows per second) angezeigt. Diese ermöglicht eine sofortige Kenntnisnahme von eventuellen Engpässen. Ferner besteht die Möglichkeit einen Trace-Mode zu aktivieren, welcher eine zeilenweise Betrachtung der einzelnen Transformation liefert. Traditionelle Verfahren wie Breakpoints oder die Analyse von Laufzeitvariablen stehen auch zu Verfügung.

Natürlich ist der gesamte von Talend Open Studio erzeugt Quellcode, unabhängig von der gewählten Programmiersprache, jederzeit aus der Entwicklungsumgebung her einsehbar.

Während viele Integrations-Lösungen auf einem zentralen Integrationsserver beruhen oder die Verarbeitung nur innerhalb der Datenbank ausführen können, verteilt Talend Open Studio die Prozesse je nach Verfügbarkeit über den gesamten Rechnerverbund. Der Einsatz von dedizierten Systemen ist hierbei nicht notwendig. Stattdessen werden von Talend Open Studio alle vorhandenen Ressourcen genutzt.

Talend Open Studio ist die einzige Datenintegrationslösung welche sowohl den traditionellen ETL (Extract- Transform-Load) als auch den bekannten ELT (Extract-Load-Transform) Ansatz unterstützt. ELT nutzt die Stärken relationaler Datenbanksysteme indem die Transformationen direkt innerhalb der Datenbank ausgeführt werden. Dadurch können großen Datenmengen in ungeahnter Geschwindigkeit verarbeitet werden. Bei jedem Teilschritt eines Prozesses kann das beste Verfahren für höchste Geschwindigkeit und Skalierbarkeit gewählt werden. Dieses Verfahren, welches speziell für die Verwendung von kostengünstigen Grid-Systemen (Groß oder Klein) entwickelt wurde, erlaubt die Verarbeitung nahe dem Quellsystem und maximierte die Verwendung on Rechenleistung.