Talend Integration Suite

Der Shared Metadata Manager von Talend Integration Suite wurde speziell dafür entwickelt, alle projektrelevanten Informationen und Unternehmensmetadaten in einem zentralen Repository zusammenzufassen, um allen Akteure des Integrationsprozesses einen Zugriff zu gewähren: Business User, Job-Entwickler, IT-Personal haben auf eine identische Version der Daten Zugriff. Dieses gemeinsame Repository vereinfacht die Zusammenarbeit zwischen den Teammitgliedern und erlaubt ihnen, ihre Businessmodelle, Datenintegrationsjobs und Metadaten in einem, dem Industriestandard entsprechenden Source Manager (SVN), zu speichern.

Dies fördert die Wiederverwendbarkeit von Objekten und Codes, sowie das Finden von Best Practices Abläufen, die anschließend von allen Entwicklern für die Erstellung von Datenintegrations-, Datenmigrations- und Datensynchronisationsjobs genutzt werden können.

Der Shared Metadata Manager bietet erweiterte Features, wie das Check-in/Check-out auf Objektebene, für die Zusammenarbeit an. User, Rollen, Berechtigungen und Zugriffsrechte werden zentral über das webbasierte Administration Center, das auch LDAP-fähige Systeme wie Active Directory unterstützt, verwaltet.

Mitunter gestaltet sich die Umsetzung von unternehmensweiten Integrationsprozessen als äußerst komplex und zeitaufwendig. Durch die in der Talend Integration Suite enthaltenen Auto-Funktionen wird die Entwicklung und Implementierung dieser Prozesse erheblich vereinfacht.

• Zahlreiche Wizards helfen dabei, Verbindungen zu heterogenen Datenquellen, einschließlich Unternehmensplattformen wie SAP, vielfältigste Quellen wie Copybook-Formate (EBCDIC) oder Web-Services, zu automatisieren.
• Modelle grundlegender Prozesse können als Talend Joblets angelegt werden. Diese können wiederverwendet werden und damit die Industrialisierung der Open Source Datenintegrations-, Datenmigrations- und Datensynchronisationsprozesse erleichtern.
• Referenzprojekte helfen dabei, eine Duplizierung bereits bestehender Projekte (per Copy and Paste) zu vermeiden. Untergeordnete Projekte werden der Referenz nach mit einem Masterprojekt verknüpft, um Weiterentwicklungen zu nutzen und bewährte Prozesse erneut einzusetzen.
• Durch die Verwendung der Parallelisierungsfunktion werden alle verfügbaren Server-Kapazitäten und Prozessoren eines Unternehmens maximal genutzt, was die Verarbeitungszeit der Open Source Datenintegrations-, Datenmigrations- und Datensynchronisationsjobs erheblich verkürzt.
• Anhand moderner Funktionen wie Wirkungsanalyse und Datenursprung erkennen User den Pfad, den Daten durch das Informationssystem genommen haben, sowie die Auswirkung einer Änderung an der Datenstruktur oder eines Transformationsverfahrens.
• Die Change Data Capture (Publish & Subscribe)Funktion identifiziert und erfasst Daten, die zu dem Datenbestand hinzugefügt, innerhalb dessen aktualisiert oder daraus entfernt wurden. Diese Veränderungen (und nur diese) werden direkt an die jeweiligen Subscriber weitergegeben. Anhand zusätzlicher Funktionen für Business Rules bindet der User JBoss Rules Governor (BRMS), als zentrale Definition und Verwaltung von JBoss-fähigen Business Rules, ein.
  
• Das Project Audit Tool liefert qualitative und quantitative Messungen, die mit Best Practices abgeglichen werden und dabei helfen, Open Source Datenintegrations-, Datenmigrations- und Datensynchronisationsprojekte zu optimieren.

Talend Integration Suite verfügt über leistungsstarke Merkmale zur Steuerung aller Datenintegrationsaufgaben über eine zentrale Konsole: Das Talend Administration Center.  Dabei spielt es kein Rolle, ob es sich um einen sehr einfachen oder sehr komplexen Job, einen einzigen Open-Source-Job oder mehrere tausend Jobs, mit Datenmenge im Bereich von ein paar Datensätzen oder Terabytes an Daten, handelt. Basierend auf der Technologie von Web 2.0 und Ajax, bietet das Administration Center als Web Anwendung eine benutzerfreundliche Oberfläche und schnelle Aktualisierungszeiten.

• Der Job Conductor koordiniert und plant die Ausführung von Open Source Datenintegrations-, Datenmigrations- und Datensynchronisationsjobs. Dieser stellt eine zentrale Schnittstelle dar, von dem aus alle Jobs zeitgesteuert oder auf Anfrage gestartet werden können. Der Job Conductor bildet automatisch  alle verfügbaren und ausführenden Server ab und überwacht konstant ihre Ressourcen, um eine intelligente Datenauslastung während der Job-Ausführung zu gewährleisten.
• Ab der Professional Edition, verfügt der Job Conductor über eine zusätzliche Event basierende Scheduling-Funktion, welche für die Datenintegration in Echtzeit, einschließlich der Ausführung von Berichten und Statistiken in Echtzeit, benötigt wird.
• Grid Conductor optimiert die Skalier- und Verfügbarkeit von Integrationsprozessen durch die optimale Ausnutzung des Grid-Verbunds, wobei die Jobs automatisch verteilt werden.
  Durch ein dynamisches Load-Balancing, welches verfügbare Ressourcen auf dem Server und eine intelligente Job-Verteilung ständig überwacht und kontrolliert, wird die gleichmäßige Ausführung aller Jobs durch den Grid Conductor, jederzeit und in vollem Umfang, gewährleistet. Hierbei werden verfügbare Ressourcen voll ausgenutzt und Engpässe, wie bei traditionellen Single-Server Architekturen, umgangen. Befürchtungen bezüglich einer Ressourcenknappheit, wie etwa bei der gleichzeitigen Durchführung einer großen Anzahl an Jobs oder der Einsatz von Nicht-dedizierten Servern, entfallen. Zusätzlich bietet der Grid Conductor ein automatisches Fail-Over, im Falle einer Durchführung bei nicht verfügbaren Ressource.
• Dank einer Hochverfügbarkeitsfunktion von Talend können mehrere Talend Administrationszentren im Cluster-Modus, mit einer automatisierten Ausfallsicherung, zusammenarbeiten.
• Der CPU Balancer bietet den höchsten Grad an Parallelisierung von Integrationsprozessen. Er verteilt Jobs unter allen verfügbaren Verarbeitungsressourcen und parallelisiert die Ausführung zwischen CPUs und Cores. Zusätzlich unterstützt er die Synchronisation und Wait-Points für Open Source Datenintegrations-, Datenmigrations- und Datensynchronisationsjobs.
• Distant Run ermöglicht eine Ausführung von Open Source Jobs auf spezifizierten Systemen. Diese Funktion kann sich als äußerst hilfreich beim Testen von Jobs, in derselben Konfiguration wie die Produktionsumgebung oder auf unterschiedlichen Betriebssystemen, erweisen. Ebenfalls hilfreich erweist sich die Funktion, wenn es einfach darum geht, Jobs auf Anfrage, auf spezifischen Systemen ohne den komplexen Verteilungsprozess durchlaufen zu müssen, auszuführen.

Talend Integration Suite ist, um die Bedürfnisse aller Arten von Unternehmen zu erfüllen, in verschiedenen Editionen verfügbar:

• Talend Integration Suite Team Edition bietet alle grundlegenden Features und Funktionen für die Zusammenarbeit und das Scheduling.
• Talend Integration Suite Professional Edition ergänzt die Team Edition um erweiterte Funktionen des Scheduling, zusätzliche Funktionen der Ausführung, Error Recovery Management und Real-Time-Funktion.
• Talend Integration Suite RTx erweitert die Talend Integration Suite Professional Edition um Service-orientierte Architektur-Managementfunktionen und zusätzliche Real-Time-Funktionen, die auf intensive operationale Integrationsbedürfnisse in Echtzeit abgestimmt sind. Weitere Details...
• Talend Integration Suite Enterprise Edition beinhaltet unter anderem, leistungsfähige Zusatzfunktionen wie High Availability und Grid-Management, sowie weitere zusätzliche Funktionalität für Unternehmenszwecke.
• Talend Integration Suite MPx ergänzt die Talend Integration Suite Enterprise Edition um die Funktion der massiv-parallelen Ausführung und um die Verarbeitung großer Datenvolumina. Weitere Details...

Detaillierte Informationen zu den einzelnen Funktionen der jeweiligen Edition finden Sie in der Feature-Übersicht.

Optional können Sie mit den Features zur Datenqualität ein Tool zum Data-Mining und Profiling erwerben, dass nicht-konforme und qualitativ minderwertige Daten aufspürt. Wahlweise steht auch ein Tool zur Bereinigung der Daten zur Verfügung, welches dabei hilft, die Datenqualität einer vollständigen Data Governance zu verbessern.

Jede Arten von Datenverarbeitung kann fest in den Open Source Integrationsprozesse integriert werden, wodurch Datenqualität zu einem wesentlichen Bestandteil der Datenverarbeitung wird. Da Talend`s Produkte Teil derselben einheitlichen Plattform sind, ist die Option der Datenqualität nahtlos in die Datenintegration integriert und bietet dem User eine durchgängige Ergonomie, eine enge Lernkurve und ein hohes Maß an  Wiederverwendbarkeit. Hieraus ergibt sich ein unschlagbarer Vorteil bei der Ressourcenoptimierung und dem Ressourceneinsatz, sowie bei der Projektkonsistenz. Talend Data Quality ist die erste Open-Source-Lösung, mit Features auf Unternehmensniveau, um den Herausforderungen der Datenqualität begegnen zu können.

Technische Supportzentren von Talend bieten, zur Unterstützung von Kunden der Talend Integration Suite, einen schnellen, effektiven und qualitativ hochwertigen Service an. Zusätzlich dazu profitieren die Anwender direkt vom Wissen der Talend Experten für technischen Fragen, die eng mit Talend`s Forschungs- und Entwicklungsabteilung zusammenarbeiten.
Weitere Informationen über den technischen Support von Talend.

Talend Integration Suite MPx basiert auf Talend`s preisgekrönter Software für Datenintegrationstechnik und ist eine hoch skalierbare, massiv parallele Datenintegrationsplattform, welche sich auf größte Datenmengen skalieren lässt.

Ausgerichten auf Unternehmen, die extrem große Datenmengen in immer straffer werdenden Intervallen verarbeiten müssen, übertrifft die Talend Integration Suite MPx nicht nur die höchsten Anforderungen, sondern stellt sämtliche Performance-Benchmarks in den Schatten.

Fordern Sie weitere Informationen über die Talend Integration Suite MPx an.

Wollen Sie mehr über die Talend Integration Suite MPx erfahren? Sehen Sie sich eine Online-Demonstration an oder lesen Sie nach, was unsere User sagen.

FileScale-Technologie

Die Talend Integration Suite MPx verfügt über eine einzigartige FileScale-Technologie, wodurch die ausführende Server-Hardware bestmöglich eingesetzt und die Leistung von Low-Level-Algorithmen maximiert wird.

Die FileScale-Technologie arbeitet im Bulk-Mode mit (sehr) großen Dateien. Sie nutzt die vorhandene Architektur, im Gegensatz zu traditionellen Datenintegrationsarchitekturen, vollständig aus, da sie nicht von JVM oder durch die Einschränkungen ausführender Hardware behindert wird.

Die FileScale-Technologie sortiert und konvertiert die Daten zur Datenverarbeitung mit Hilfe mathematischer Hochleistungsalgorithmen. Dabei wird die MapReduce -Architektur eingesetzt, um jede Datenverarbeitungsoperation automatisch in mehrere grobe Prozesse zu zerlegen.

Massiv parallele Verarbeitung

Die Herausforderungen bei der Verarbeitung großer Datenmengen ähneln denen von Großprojekten. In der Regel teilt man eine Aufgabe in so viele Teilaufgaben wie möglich auf, um sie anschließend über alle verfügbaren Ressourcen parallel verarbeiten zu lassen.

In ähnlicher Weise profitiert Talend Integration Suite MPx von Multi-Server, Multi-CPU und Multi-Core Architekturen, bei denen Codes und separate Subprozesse, um die Architektur bestmöglich auszunutzen zu können, parallel zueinander ausgeführt werden. Dieses massiv parallele Feature maximiert die Server-Leistung und die verfügbaren Prozessoren eines Unternehmens, wodurch die Verarbeitungszeit erheblich verbessert wird.

Des Weiteren automatisiert Talend Integration Suite MPx das Aufschlüsseln von Datensätzen in mehrere parallele Streams, so dass die Verarbeitung noch weiter beschleunigt wird und die massiv parallelen Loader der führenden RDBMS-Engines unterstützt werden.

Zusätzlich unterstützt Talend Integration Suite MPx das von Hadoop's Distributed File System (HDFS) zur Verfügung gestellte Dateisystem, welches einen hohen Durchsatz beim Zugriff auf Anwendungsdaten unterstützt. Ebenso wird von Hadoop die Data-Warehouse-Infrastruktur (Hive), die eine Zusammenfassung von Daten und ad hoc-Abfragen zulässt, unterstützt.

Basiert auf Talend Integration Suite

Talend Integration Suite MPx basiert auf der Talend Integration Suite - Edition und enthält dessen Grundmodule - Business Modeler, Job Designer und Metadata Manager - sowie sämtliche Features für Teamwork, Entwicklungskonsolidierung, Industrialisierung und Monitoring-orientierte Lösungen der führenden Enterprise Data Integration-Plattform

 

Basierend auf Talend`s preisgekrönter Software für Datenintegration, ist die Talend Integration Suite RTx die erste Wahl einer Real-Time Datenintegration-Plattform für Unternehmen mit Integrationsanforderungen.

Heutige Unternehmen bewegen sich in einer On-Demand-Welt, in der Daten bereits nach nur wenigen Stunden wieder überholt sind. Durch den Einsatz von Low-Latency-Lösungen, zur Verarbeitung von Daten in Echtzeit, können sich Akteure besser informieren und dadurch bessere geschäftsrelevante Entscheidungen treffen.

Fordern Sie weitere Informationen über Talend Integration Suite RTx an.

Wollen Sie mehr über Talend Integration Suite RTx erfahren? Sehen Sie sich eine Online-Demonstration an oder lesen Sie nach, was unsere User sagen.

Service-orientierte Architektur

Talend Integration Suite RTx bietet Unterstützung für:

• Datenintegrationsservices: Bei Bedarf werden Datenintegrationsprozesse in Echtzeit, mit Hilfe von Web-Services, ausgelöst oder integriert.
• Daten-Services: Einfacher und direkter Zugriff auf kritische Daten, die mit Standardprotokollen für gewöhnlich nur schwer eingesehen werden können.

Die Administrationskonsole von Talend Integration Suite RTx bietet eine vollständige grafische und webbasierte Umgebung, in der einer oder mehrere Datenintegrationsjobs als Service (Web Services) ausgeführt werden können. Dies ermöglicht, unter Einsatz von SOAP Binding (RPC oder dokumentenbasiert), eine automatische Bereitstellung in und zwischen heterogenen Anwendungen und Systemen.

Ein spezieller WSDL-Wizard hilft bei der Generierung von WDSL-Deskriptoren, um Jobs als Web Services auszuführen und um passende UDDI-Einträge bei der Inanspruchnahme von Web Services zu finden.

Zusätzlich dazu bietet die Talend Integration Suite RTx einen nativen Export zu JBoss ESB, für eine vollständige Interoperabilität zwischen den einzelnen Anwendungen.

Des Weiteren bietet der SOA-Manager erweiterte Fähigkeiten zur Verwaltung eingehender Anfragen, basierend auf einem optimierten Pooling & Queuing System. Der vom User definierte Pool aktiver Services verarbeitet zahlreiche Anfragen in Echtzeit, während ein Queue-Manager zusätzliche Anfragen bearbeitet und den Datendurchsatz zur asynchronen Verarbeitung puffert.

Event-basierte Ausführung

Talend Integration Suite RTx bietet Echtzeit- und Event-zentrierte Ausführung von Aufgaben, basierend auf einem Aufruf des Web Services oder durch eine direkte Ausführung.

Der Event Listener ermöglicht eine Prozessausführungen auf On-Demand-Basis, falls Nachrichten durch die JMS-compliant Message-Oriented Middleware oder über einen Enterprise Service Bus (ESB), über RPC, HTTP oder Socket Listener, unter Verwendung von "wait for“-Bedingungsformen, gelangen.

Latenzen und Volumina sind („je nach Bedarf“) auf Basis von Trickle-Feed oder als kleine Batches (Batchgröße anpassbar) für eine annähernde Real-time-Verarbeitung, zeitnah oder als Kombination aller Modi, konfigurierbar.

Talend Integration Suite RTx unterstützt multiple Instanzen. Während der Laufzeit können die verschiedenen Jobausführungen über multiple Prozessoren und Server verteilt werden, wodurch das Load-Balancing und die Grid-Architektur bestmöglich genutzt und die maximale Ausführungsleistung erreicht wird.

Echtzeitkonnektoren

Talend Integration Suite RTx bietet multiple Konnektoren für die Datenverarbeitung in Echtzeit an. Die Web-Services-Komponente hilft dabei, dass Datenintegrationsprozesse jede beliebige Art von Web Services, die SOAP- oder REST-Protokolle einsetzen, verarbeiten.

Talend Integration Suite RTx bietet eine native Unterstützung für asynchrone Kommunikation über Message Orientierte Middleware (MOM) an. Ebenfalls integriert es Daten mit JMS basierten Massaging Systemen, um eine eventgesteuerte Architektur (EDA) zu ermöglichen und um eine serviceorientierte Architektur (SOA) zu unterstützen.

Zu den Konnektoren für Echtzeit-APIs von Business-Anwendungen gehören unter anderem Salesforce.com, SAP, Microsoft Dynamics usw. Weitere Konnektoren ermöglichen eine Datenintegration mit:

• RDBMS
• Mainframe oder Altsystemen
• Dateien
• LDAP, E-Mail, HTTP, FTP usw.
• Nachrichten, Queues (MOM) & ESB

Change Data Capture

Die Change Data Capture (CDC) reduziert den Datenfluss zwischen den Systemen und hilft dabei die Verarbeitungszeit zu verkürzen. Die Change Data Capture Funktion identifiziert und erfasst Daten, die zu Datenbanktabellen hinzugefügt, aktualisiert oder daraus entfernt wurden, in Echtzeit. Diese transaktionale Funktion steht, für die wichtigsten RDBMS und über die Attunity Integration für Mainframes und Altsysteme, nativ zur Verfügung.

Der Publish & Subscribe Modus stellt diese Veränderungen (und nur diese Veränderungen), in Form einer kontinuierlichen Feed Basis oder eines Überblicks, dem jeweiligen Subscriber direkt zur Verfügung. Dies geschieht unter Berücksichtigung der Anforderungen der ausgeführten Anwendung. Dieser Modus ermöglicht die Unterstützung von multiplen Latenzen und unterschiedlichster Arten von Konsumenten.

Basiert auf Talend Integration Suite

Talend Integration Suite RTx basiert auf der Talend Integration Suite und beinhaltet ihre Core Module  - Business Modeler, Job Designer und Metadata Manager – sowie sämtliche Features für Teamwork, Entwicklungskonsolidierung, Industrialisierung und Monitoring-orientierte Lösungen der führenden Enterprise Data Integration-Plattform.