Talend Open Studio for Data Integration

Talend Open Studio for Data Integration führt dank eines einfach anzuwendenen graphischen Entwicklungsumfelds zu einer drastischen Verbesserung der Effizienz von Datenintegration. Es ermöglicht einen schnellen Einsatz und senkt Wartungskosten dank vorgefertigter Konnektoren zu allen Quell- und Zielsystemen mit Unterstützung aller Arten von Datenintegrations-, Datenmigrations- und Datensynchronisationsabläufen. Hochwertiger Support steht durch eine weltweite Community von Nutzern, die kontinuierliche Tests und Feedback bieten, zur Verfügung.

Talend Open Studio for Data Integration umfasst drei Hauptanwendungen (Business Modeler, Job Designer und Metadata Manager) innerhalb eines einzigen graphischen Entwicklungsumfelds, das auf Eclipse basiert und einfach an die Bedürfnisse von Unternehmen angepasst werden kann.

Leistungsstarke und erweiterbare Datenintegrationslösung

Liefert Lösungen für sämtliche Anforderungen – pünktlich und unter Budget

• Erweiterbar, um selbst die komplexesten und spezifischsten Anforderungen zu erfüllen.
• Einfacher Einsatz, der die Entwicklung von Monaten auf Tage, ja sogar Stunden verkürzt.
• Wirksame Nutzung der Leistungsfähigkeit von Open Source.

Erfüllt selbst die komplexesten, geschäftlichen Anforderungen

• Liefert den Unternehmen die Informationen, die sie brauchen, wenn sie sie brauchen, sodass sie zeitgerechte und effektive Entscheidungen treffen können.
• Erweiterung von Daten-Services zur Bereitstellung von Echtzeit-Zugriff auf jegliche Unternehmensdaten für befugte Anwendungen und Anfordernde.
• Bereitstellung zuverlässiger Daten für das gesamte Unternehmen, um sowohl analytische als auch ablaufsrelevante Bedürfnisse zu erfüllen.

Erweiterbarer, intuitiver und vollständiger Tool-Satz für den Datenzugriff

Talend Open Studio for Data Integration ist das einzige, derzeit erhältliche unternehmensfähige Open-Source-Integrationstool. Dank Open Source können die Nutzer die Lösung an ihre ausdrücklichen Bedürfnisse anpassen und sie erweitern, ohne sich dabei auf die Fähigkeit des Lieferanten, besondere Vorgaben erfüllen zu können, verlassen zu müssen. Dieses Maß an Innovation ermöglicht den Schwerpunkt auf konkrete Probleme und bietet Einblick in Funktionen, da es sich nicht mehr um eine proprietäre Blackbox-Lösung handelt. Dieser einzigartige Wert wird durch die folgenden Aspekte geliefert:

• Codegenerierung: Talend Open Studio for Data Integration ist ein Codegenerator. Ein Entwickler zieht und konfiguriert einen Satz graphischer Komponenten auf eine Leinwand und das Tool erzeugt alle zugrunde liegenden Java-Codes. Dieser Ansatz verkürzt die Zeit zur Entwicklung und sorgt dafür, dass mehr in kürzerer Zeit erledigt werden kann.
• Konnektoren: Talend Open Studio for Data Integration ist die einzige Lösung, die eine Vielfalt an vorgefertigten Konnektoren zur Erfüllung sämtlicher Unternehmensanforderungen bietet. Die Softwarelösung beinhaltet mehr als 450 Komponenten, die eine Verbindung mit nahezu allen Datenbanken und vielen bekannten Geschäftssystemen in Echtzeit oder im Batch-Modus ermöglicht.
• Transformation: Transformationen aus strukturierten, unstrukturierten und sogar XML-Daten sind einfach. Mit einer Erweiterung der Datenqualitätslösung von Talend bietet Talend Open Studio for Data Integration eine native Funktion zur Qualitätsverbesserung als Bestandteil eines Integrationsablaufs.

---

Business-Modeling

Der Business-Modeler verwendet einen Top-Down-Ansatz, der es Business-Akteuren erlaubt, am Design des Integrationsprozesseses teilzuhaben und den Entwicklungsfortschritt zu überwachen. Bei den Business-Modellen handelt es sich um nicht-technische, Business-orientierte Ansichten, die unter Verwendung der passenden Library aus Formen und Links erstellt wurden.

Der Business-Modeler ordnet auch alle relevanten Dokumentationen neu an, indem er die Open Source Datenintegrations-, Datenmigrations-, und Datensynchronisationsprozesse in einem Business-freundlichen Diagramm anzeigt.  Dies ist eine sehr effiziente Möglichkeit, Jobs zu überwachen und Wirkungsanalysen auszuführen, wenn ein Problem auftritt.

Graphische Entwicklung

Der Job Designer bietet sowohl eine graphische als auch eine funktionale Ansicht des eigentlichen Integrationsprozesseses und verwendet dabei eine graphische Palette an Open-Source-Komponenten und Konnektoren. Integrationsprozesse werden erstellt, indem man einfach per Drag-and-Drop die Open-Source-Komponenten und Konnektoren auf dem Workspace ablegt, Verbindungen und Bezüge zwischen ihnen herstellt und ihre Eigenschaften festlegt.

Komponenten und Konnektoren decken alle Arten von Tasks und Abläufen in Bezug auf die Daten selbst, das Datenmanagement oder die Sequenzierung des Datenflusses ab. Konnektoren helfen beim Schreib- und Lesezugriff auf alle Quell- und Zielsysteme von Daten für die Datenintegration, Datenmigration und Datensynchronisation. Eine vollständige Liste der unterstützten Konnektoren finden Sie unter http://www.talendforge.org/components.

Eigenschaften werden in einer zentralen Ansicht konfiguriert. Dies geschieht bei der Auswahl einer jeden Komponente die sich auf den Job bezieht. Eigenschaften können aber auch direkt aus dem Metadaten-Manager (Repository) übernommen werden.

Komplexe Komponenten sind mit einer eigenen und intuitiven graphischen Benutzeroberfläche oder mit integrierten Assistenten ausgestattet, die dem User bei der Job-Erstellung helfen.

Um die Lesbarkeit eines Job-Designs aufrecht zu erhalten, kann das Job-Diagramm in Sub-Jobs unterteilt und dann in unter- und übergeordnete Jobs festgelegt werden, um die Ausführung zu sequenzieren. Ferner helfen weitere Orchestrationskomponenten dem User die Prozessausführung zu sequenzieren.

Eine integrierte Konsolenansicht lässt den User die Ausführung schnell überwachen und die Leistungsfähigkeit direkt im Integrationsstudio verfolgen.

Metadaten-gesteuertes Design

Talend Open Studio for Data Integration ist eine Metadaten-gesteuerte, Open-Source-Lösung für Datenintegration, Datenmigration und Datensynchronisation. Sämtliche Metadaten werden in einem Metadaten-Manager (Repository) durch die gemeinsame Nutzung aller Module, gespeichert und verwaltet. Das Repository zentralisiert alle Projektinformationen und garantiert eine durchgängige Konsistenz aller Integrationsprozesse.

Metainformationen, die im Zusammenhang mit Quell- und Zielsystemen von Integrationsprozessen stehen, werden einfach mit Hilfe erweiterter Systeme, Datenbanken oder Datei-Selbstprüfungen, die durch eine Reihe von Assistenten erleichtert wird, in den Metadaten-Manager geladen. Der Metadaten-Manager basiert auf einem offenen, relationalen Modell, bei dem Job-Abhängigkeiten einfach identifiziert werden können, wodurch die Wartung der Datenintegrations-, Datenmigrations-, und Datensynchronisations-Jobs vereinfacht wird.

Kontextdaten, wie etwa Details zur Datenbankanbindung oder Dateipfade, können ebenfalls im Metadata-Manager zentralisiert werden, was zu einer Erleichterung der Nutzung und Aktualisierung führt.

Die Datenstruktur jeglicher Quell- oder Zielsysteme kann ebenfalls einfach in einem Talend Schema-Formular, das für alle Datenabläufe in allen Ihren Integrationsprozessen wiederverwendet wird, abgefragt und interpretiert werden.

Zusätzliche Codes, routinierte Vorgehensweisen oder Methoden können ebenfalls im Repository vereinheitlicht werden, wodurch die Wiederverwendung und der Wiedereinsatz dieser Prozessteile erleichtert wird.

Erweiterte und vielseitige Konnektivität

Talend Open Studio for Data Integration bietet native, technische und betriebswirtschaftliche Konnektoren, auf Open-Source Basis, für alle IT-Umgebungen. Das breite Angebot an Konnektoren ist der Schlüssel für eine erfolgreiche Interoperabilität von Anwendungen und Datenbanken. Es erlaubt die Überbrückung unterschiedlicher und inhomogener Datenstrukturen bei unübertroffener Leistungsfähigkeit. Zudem werden diese laufend erweitert und mit neuen Features für die Datenintegrations-, Datenmigrations- und Datensynchronisationslösungen von Talend  ausgestattet.

Talend Open Studio for Data Integration bietet eine umfassende Konnektivität mit:

• Anwendungspaketen (ERP, CRM, usw.), Datenbanken, Mainframes, Dateien, Web Services usw., um so der zunehmenden Vielfalt an Quellen zu begegnen
• Data Warehouses, Data Marts, OLAP-Anwendungen- für Analysen, Berichte, Dashboards, Scorecards.
• Integrierte umfangreiche Komponenten für ETL, einschl. String-Manipulationen, Slowly Changing Dimensions, automatisches Lookup-Handling, Support für Bulk Loads usw.
• Speziellen Komponenten für Datenqualität, Datenabstimmung, Stammdatenmanagement, usw.

Eine vollständige Liste der unterstützten Konnektoren finden Sie unter: http://www.talendforge.org/components.

Talend Open Studio für for Data Integration verwendet industrieweit standardisierte Sprachen, darunter Java, Perl und SQL. Dies ermöglicht es dem Nutzer, vorhandene Komponenten einfach anzureichern oder eigene Komponenten zu erstellen. Eine spezielle Community-Anwendung – Talend Exchange – hilft den Nutzern dabei, diese neu erstellten Open-Source-Komponenten nativ in die Umgebung zu integrieren. Auch können Nutzer Routinen sowie andere Codes für die Datenmigration oder Datensynchronisation schreiben und diese Informationen anschließend zentral im Repository zur späteren Wiederverwendung speichern.

Debugging in Echtzeit

Talend Open Studio for Data Integration enthält leistungsstarke Features, Debuggen und Tunen, zum Testen. Diese erlauben eine Echtzeitverfolgung von Daten, die den gesamten Transformationsprozess durchlaufen, einschließlich Ausführungsstatistiken und eines erweiterten Trace-Modus.

Wenn ein Integrationsjob mit der Open-Source Job-Designer-Benutzeroberfläche im Graphikmodus ausgeführt wird, werden Statistiken in Echtzeit angezeigt, welche die Anzahl der verarbeiteten Reihen, der  nicht bearbeiteten Reihen und auch den Datendurchsatz (Reihen pro Sekunde) ausgeben. Dadurch können Sie sofort jegliche Engpässe in einem Datenintegrations-, Datenmigrations-, oder Datensynchronisationsjob erkennen. Außerdem ist es möglich, einen Trace-Modus zu aktivieren, welcher das Verhalten Reihe für Reihe ausgibt und das Ergebnis der Transformationen anzeigt. Traditionelle Debugging-Breakpoints und Variablen sind ebenfalls verfügbar.

Selbstverständlich sind alle Codes, die von Talend Open Studio for Data Integration generiert werden, ungeachtet der Zielsprache, immer in der Design-Ansicht sichtbar und zugänglich.

Einsatz und Wartung

Die erweiterte Verwaltung von Ausführungskontexten (Test, Probelauf, Produktion usw.) erleichtert den Einsatz von Integrationsprozessen für Datenintegration, Datenmigration und Datensynchronisation. Ein implizites Laden von Kontextparametern direkt in das Open Source Job-Design, hilft dabei, die verschiedenen Ausführungsumgebungen einfacher zu entwickeln und zu verwalten. Der systemübergreifende Einsatz von Prozessen in einem Unternehmen kann mit dem praktischen Export-Tool als Datenservice oder als Datenintegrations-, Datenmigrations- oder Datensynchronisationsservice einfach durchgeführt werden.

Die automatische Dokumentationserstellung bietet eine vollständige und technisch aktuelle Referenzdokumentation (in XML und HTML). Sie hilft verschiedenen Nutzern und Akteuren dabei, übernommene Prozesse zu warten und zu aktualisieren.

Das Abhängigkeitserkennungs-Feature hilft dem User dabei, Abhängigkeiten zwischen den Integrationsprozessen, die mit Talend Open Studio for Data Integration entwickelt wurden, zu identifizieren und das globale Update der großen Anzahl an Prozessen, die zentral im Repository gespeichert sind, zu vereinfachen.

Robuste und skalierbare Ausführung

Im Gegensatz zu vielen Lösungen zur Datenintegration, Datenmigration oder Datensynchronisation, die auf einem zentralisierten Integrationsserver aufbauen oder nur RDBMS-Engines zur Datenverarbeitung einsetzen können, ermöglicht es Talend Open Studio for Data Integration dem User, Prozesse in ausführbare Dateien zu exportieren, die systemweit verteilt oder als Web-Services ausgelagert werden können. Diese Systeme müssen nicht extra dafür bestimmt sein, Integrationsprozesse auszuführen. Stattdessen nutzt Talend Open Studio for Data Integration verfügbare Ressourcen.

Talend Open Studio for Data Integration setzt sowohl den traditionellen ETL-Ansatz (Extract-Transform-Load), als auch den ELT-Ansatz (Extract-Load-Transform) ein. ELT setzt auf die Leistungsfähigkeit von RDBMS-Engines, um Datentransformationen innerhalb von Datenbanken auszuführen, um so eine beispiellose Effizienz bei großen Batches zu erreichen. Auch ist es möglich, für jedes Subset an Prozessen den geeignetsten Ansatz zu wählen und dadurch das höchste Leistungsniveau und die höchste Skalierbarkeit für die Datenintegration, Datenmigration und Datensynchronisation zu erreichen.

Dieses Architektur-Design ist besonders für den Einsatz eines kostengünstigen Servernetzes, aber natürlich auch für leistungsstärkere Systeme, geeignet. Dadurch wird ermöglicht, dass Daten so quellennah wie möglich verarbeitet werden (was den Datentransfer verringert) und die Ausnutzung der Rechenressourcen maximiert wird.

Die Datenintegrationslösungen von Talend umfassen alle Datenintegrationsbedürfnisse von Unternehmen jeglicher Größe. Zur Vielfalt an Datenintegrationsbedürfnissen, die durch die Talend-Lösungen erfüllt werden, gehören u.a.:

• Betriebsrelevante Datenintegration: In den meisten Unternehmen erfolgt die betriebsrelevante Datenintegration durch die Implementierung maßgeschneiderter Programme oder Abläufe, die nach Bedarf für ein spezifisches Anliegen durchgeführt werden. Datenmigration/-laden und Datensynchronisation/-replikation sind die gängisten Anwendungen für betriebsrelevante Datenintegration.
  
  
• Datenmigration: Beim Upgrade auf eine neue Version einer Datenbank oder Anwendung oder beim Umstieg auf ein neues System müssen die Daten im neuen System bewahrt werden. Diese müssen in ein geeignetes Format für das neue System umgewandelt werden, während die Informationen im alten System erhalten bleiben müssen. Erfahren Sie mehr über die Datenmigrationslösungen von Talend.
  
  
• Datensynchronisation: Es kommt oft vor, dass in einem Informationssystem Daten separat von verschiedensten Anwendungen oder Datenbanken verwaltet werden, aber dennoch zwischen diesen Systemen konsistent bleiben müssen. Der Bedarf an einer Datensynchronisation kann entweder permanent (Synchronisation zwischen betriebsrelevanten Systemen) oder nur vorübergehend sein, z.B. bei einer Migration. Datensynchronisation umfasst alle Prozesse, die Daten zwischen Anwendungen und Datenbanken synchron halten. Erfahren Sie mehr über die Datensynchronisationslösungen von Talend.
  
  
• ETL für Business Intelligence und Data Warehousing: Die ETL-Prozesse (Extraktion, Transformation und Laden) sind die wichtigsten Komponenten einer BI-Infrastruktur und besitzen den größten Mehrwert. Obwohl sie für den Nutzer einer BI-Plattform größtenteils unsichtbar sind, suchen ETL-Prozesse Daten aus allen betriebenen Systemen zusammen und bereiten sie für die Analyse- und Reporting-Tools vor. Tatsächlich hängt die Fehlerfreiheit und Aktualität der gesamten BI-Plattform von den ETL-Prozessen ab. Erfahren Sie mehr zu den ETL-Lösungen für BI und Analysen von Talend.
  

Unternehmen schöpfen weltweit Wert aus Datenintegration

Open-Source-Datenintegration wird von Unternehmen aller Größen in allen Branchen für äußerst verschiedenartige Projekte eingesetzt. Nachstehend aufgeführt sind Beispiele praktischer Fallstudien zum Verständnis der Vorteile, die tatsächliche Unternehmen aus der Open-Source-Datenintegration erhalten:

• Allianz Global Investors Distributors saniert sein Datenlager
• Sony Online Entertainment nutzt Talend für Gaming-Analysen
• Monolith bietet leistungsstarke, SaaS-basierte BI für Schnellrestaurants
• Monecam Group basiert seine dienstleistungsorientierte Architektur auf der Talend Integration Suite
• UMIT im Kampf gegen Krebs mit Datenintegration, Data Mining und Datenanalyse

Weitere Fallstudien und Kundenreferenzen finden Sie hier.