Talend Open Studio

Um eine optimale Ausführung zu gewährleisten, bietet Talend Open Studio erweiterte Funktionen an, welche die Produktivität der Gestaltung von Datenintegrationsjobs enorm verbessert und sich als hoch skalierbar erwiesen hat.

Sie sind sich nicht sicher, ob Sie die Open-Source-Software Talend Open Studio oder Talend Integration Suite, für die Datenintegration, Datenmigration bzw. Datensynchronisation, benötigen?   Werfen Sie doch einen Blick auf die Feature-Übersicht.

Wollen Sie mehr über Talend Open Studio für Datenintegration, Datenmigration oder Datensynchronisation erfahren? Sehen Sie sich eine Online-Demonstration an oder lesen Sie nach, welche Erfahrungen unsere User gemacht haben.

Business-Modeling

Talend Open Studio: Business Modeler

Der Business-Modeler von Talend Open Studio verwendet einen Top-Down-Ansatz, der es Business-Akteuren erlaubt, am Design des Integrationsprozesseses teilzuhaben und den Entwicklungsfortschritt zu überwachen. Bei den Business-Modellen handelt es sich um nicht-technische, Business-orientierte Ansichten, die unter Verwendung der passenden Library aus Formen und Links erstellt wurden.

Der Business-Modeler ordnet auch alle relevanten Dokumentationen neu an, indem er die Open Source Datenintegrations-, Datenmigrations-, und Datensynchronisationsprozesse in einem Business-freundlichen Diagramm anzeigt. Dies ist eine sehr effiziente Möglichkeit, Jobs zu überwachen und Wirkungsanalysen auszuführen, wenn ein Problem auftritt.

Grafische Entwicklung

Talend Open Studio: Mapper

Der Job Designer von Talend Open Studio bietet sowohl eine grafische als auch eine funktionale Ansicht des eigentlichen Integrationsprozesseses an und verwendet dabei eine grafische Palette an Open-Source-Komponenten und Konnektoren. Integrationsprozesse werden erstellt, indem man einfach per Drag-and-Drop die Open-Source-Komponenten und Konnektoren auf dem Workspace ablegt, Verbindungen und Bezüge zwischen ihnen herstellt und ihre Eigenschaften festlegt.

Komponenten und Konnektoren decken alle Arten von Tasks und Operationen, an den Daten selbst oder an der Sequenzierung des Workflows, ab. Konnektoren helfen beim Schreib- und Lesezugriff auf alle Quell- und Zielsysteme von Daten für die Datenintegration, Datenmigration und Datensynchronisation.
Eigenschaften werden in einer zentralen Ansicht konfiguriert. Dies geschieht bei der Auswahl einer jeden Komponente die sich auf den Job bezieht. Sie kann aber auch direkt aus dem Metadaten-Manager übernommen werden.
Komplexe Komponenten sind mit einem eigenen und intuitiven grafischen Interface oder mit integrierten Wizards ausgestattet, die dem User bei der Job-Erstellung helfen.
Um die Lesbarkeit eines Job-Designs aufrecht zu erhalten, kann das Job-Diagramm in Subjobs unterteilt und dann in unter- und übergeordnete Jobs festgelegt werden, um die Ausführung zu sequenzieren. Ferner helfen dem User weitere Orchestrationskomponenten sowie verschiedene Beziehungen die Prozessausführung zu sequenzieren.

Eine integrierte Konsolenansicht lässt den User die Ausführung schnell überwachen und die Leistungsfähigkeit direkt im Open Source Datenintegrationstool verfolgen.

Metadaten-gesteuertes Design

Talend Open Studio: File WizardDatabase Wizard

Talend Open Studio ist eine Metadaten-gesteuerte Lösung zur Datenintegration, Datenmigration und Datensynchronisation auf Basis von Open-Source. Sämtliche Metadaten werden in einem Metadaten-Manager, dem Repository, durch die gemeinsame Nutzung aller Module, gespeichert und verwaltet. Das Repository zentralisiert alle Projektinformationen und garantiert eine durchgängige Konsistenz aller Integrationsprozesse.

Metainformationen, die im Zusammenhang mit Quell- und Zielsystemen des Integrationsprozesses stehen, werden einfach mit Hilfe erweiterter Datenbanken oder Datenprüfungen in den Metadaten-Manager geladen. Dies wird durch eine Reihe von Wizards erleichtert. Der Metadaten-Manager basiert auf einem offenen, relationalen Modell, bei dem Job-Abhängigkeiten einfach identifiziert werden können, wodurch die Wartung der Datenintegrations-, Datenmigrations-, und Datensynchronisations-Jobs vereinfacht wird.
Kontextdaten, wie etwa Details zur Datenbankanbindung oder Dateipfade, können ebenfalls im Metadata-Manager zentralisiert werden, was zu einer Erleichterung der Nutzung und Aktualisierung führt..

Zusätzliche Codes, routinierte Vorgehensweisen oder Methoden können ebenfalls im Repository vereinheitlicht werden, wodurch die Wiederverwendung und der Wiedereinsatz dieser Prozessteile erleichtert wird.

Erweiterte und vielseitige Konnektivität

Talend Open Studio: RealTime Debugging Talend Open Studio: Debug Mode

Talend Open Studio bietet native, technische und betriebswirtschaftliche Konnektoren, auf Basis von Open-Source, für alle IT-Umgebungen. Dieses breite Angebot an Konnektoren ist der Schlüssel für eine erfolgreiche Interoperabilität von Anwendungen und Datenbanken. Es erlaubt die Überbrückung unterschiedlicher und inhomogener Datenstrukturen bei unübertroffener Leistungsfähigkeit. Zudem werden diese kontinuierlich erweitert und mit neuen Features, für die Open Source Datenintegration, Datenmigration und Datensynchronisation, ausgestattet.

Talend Open Studio bietet eine umfassende Konnektivität mit:

  • Anwendungspaketen (ERP, CRM, usw.), Datenbanken, Mainframes, Dateien, Web‑Services usw., um so der wachsenden Zahl unterschiedlicher Quellen zu begegnen.
  • Data Warehouses, Data Marts, OLAP-Anwendungen- für Analysen, Berichte, Dashboards, Scorecards, usw.
  • Integrierte umfangreiche Komponenten für ETL, inkl. String-Manipulationen, Slowly Changing Dimensions, automatisches Lookup-Handling, Support für Bulk Loads usw.

Eine Übersicht aller verfügbaren Konnektoren ist unter http://www.talendforge.org/components abrufbar.

Talend Open Studio verwendet industrieweit standardisierte Sprachen, darunter Java, Perl und SQL. Dies ermöglicht dem User, vorhandene Komponenten einfach anzureichern oder eigene Komponenten zu erstellen. Eine spezielle Community-Anwendung – Talend Exchange – hilft den Usern dabei, diese neu erstellten Open-Source-Komponenten nativ in die Umgebung zu integrieren. Auch können User Routinen sowie andere Codes, für die Datenmigration oder Datensynchronisation, schreiben und diese Informationen anschließend zentral im Repository, zur späteren Wiederverwendung, speichern.

Echtzeit Debugging

Talend Open Studio enthält leistungsstarke Features zum Testen, Debuggen und Tunen. Diese erlauben eine Echtzeitverfolgung von Daten, die den gesamten Transformationsprozess durchlaufen, einschließlich der Ausführung von Statistiken und eines erweiterten Trace-Modi.

Wenn ein Integrationsjob mit dem Open-Source Job-Designer-Interface im grafischen Modus ausgeführt wird, werden in Echtzeit Statistiken angezeigt, welche die Anzahl der verarbeiteten  Reihen und Rejects, als auch den Throughput (Reihen pro Sekunde) ausgeben.

Dadurch können Sie sofort jeden Engpass in einem Datenintegrations-, Datenmigrations-, oder Datensynchronisationsjob aufdecken. Außerdem ist es möglich, einen Trace-Modus zu aktivieren, welcher das Verhalten Reihe für Reihe ausgibt und das Ergebnis der Transformationen anzeigt. Traditionelle Debugging-Breakpoints und Variablen sind ebenfalls verfügbar.

Selbstverständlich ist der gesamte Code, der von Talend Open Studio generiert wird, ungeachtet der Zielsprache, immer in der Design-Ansicht sichtbar und zugänglich.

Einsatz und Wartung

Die erweiterte Verwaltung von Ausführungskontexten (Test, Probelauf, Produktion usw.) erleichtert den Einsatz von Integrationsprozessen für Datenintegration, Datenmigration und Datensynchronisation. Ein implizites Laden von Kontextparametern direkt in das Open Source Job-Design, hilft dabei, die verschiedenen Ausführungsumgebungen einfacher zu entwickeln und zu verwalten. Der systemweite Einsatz von Prozessen in einem Unternehmen kann mit dem passenden Export-Tool, als Datenservice oder als Datenintegrations-, Datenmigrations- oder Datensynchronisationsservice, einfach durchgeführt werden.

Die automatische Dokumentationserstellung bietet eine vollständige und technisch aktuelle Referenzdokumentation (in XML und HTML). Sie hilft verschiedenen Usern und Akteuren dabei, übernommene Prozesse zu warten und zu aktualisieren.

Ein entsprechendes Feature hilft dem User dabei, Abhängigkeiten zwischen den Integrationsprozessen, die mit Talend Open Studio entwickelt wurden, zu identifizieren und das globale Update der großen Anzahl an Prozessen, die zentral im Repository gespeichert sind, zu vereinfachen.

Robuste und skalierbare Ausführung

Im Gegensatz zu vielen Lösungen zur Datenintegration, Datenmigration oder Datensynchronisation, die auf einem zentralisierten Integrationsserver aufbauen oder nur RDBMS-Engines zur Datenverarbeitung einsetzen können, ermöglicht es Talend Open Studio dem User, Prozesse in ausführbare Dateien zu exportieren, die systemweit verteilt oder als Web-Services ausgelagert werden können. Diese Systeme müssen nicht extra dafür bestimmt sein, Integrationsprozesse auszuführen. Stattdessen nutzt Talend Open Studio die verfügbaren Ressourcen, unabhängig von ihrer Umgebung.

Talend Open Studio: Job Designer

Talend Open Studio setzt sowohl den traditionellen ETL-Ansatz (Extract-Transform-Load), als auch den ELT-Ansatz (Extract-Load-Transform) ein. ELT setzt auf die Leistungsfähigkeit von RDBMS-Engines, um Datentransformationen innerhalb von Datenbanken auszuführen, um so eine konkurrenzlose Effizienz bei großen Batches zu erreichen. Auch ist es möglich, für jedes Subset an Prozessen den geeignetsten Ansatz zu wählen und dadurch das höchste Leistungsniveau und die höchste Skalierbarkeit für die Datenintegration, Datenmigration und Datensynchronisation zu erreichen.

Dieses Architektur-Design ist besonders für den Einsatz eines kostengünstigen Servernetzes, aber natürlich auch für leistungsstärkere Systeme, geeignet. Dadurch wird ermöglicht, dass Daten so quellennah wie möglich verarbeitet werden (was den Datentransfer verringert) und die Ausnutzung der Rechenressourcen maximiert wird.