Schritt für Schritt: Jobs in Talend Open Studio anlegen

Schritt für Schritt: Jobs in Talend Open Studio anlegen

 

Wussten Sie, dass ein normales Verkehrsflugzeug in der Luft pro Stunde rund 500 GB Daten generiert? Bedenkt man, wie viele Stunden am Tag ein Flugzeug fliegen kann und wie viele Flüge jeden Tag durchgeführt werden, wird schnell deutlich, was für enorme Datenmengen hier verarbeitet werden müssen. Die gute Nachricht für datengeplagte Airlines lautet: Talend kann helfen! Das in diesem Video beschriebene Data Warehouse-Projekt macht deutlich, wie man mithilfe eines Data Warehouse Flug-Performancedaten in den Griff bekommt. Dabei werden die Rohdateien der Airline genutzt, um zunächst Dimensionstabellen und dann Faktentabellen in ein Data Warehouse-Schema zu integrieren. Mithilfe der Talend Plattform Open Studio for Data Integration lassen sich diese Prozesse erstellen, testen, zum Einsatz bringen, terminieren und überwachen.

Beim Anlegen des Jobs nutzen Sie als Erstes Metadata Wizards, um Metadaten zu schaffen. Dann verbinden und mappen Sie Datenströme, recyceln bestehende Metadaten-Verbindungen, lassen die Prozesse laufen und schauen sich abschließend die Ergebnisse im Developer Studio an.

Wenn Sie mit Talend einen Datenintegrationsjob anlegen, müssen Sie zunächst die Datenströme verbinden und mappen. Die Daten aus der Datei werden, wie in den Metadaten definiert, gelesen und an die nächste Komponente weitergegeben. Im Video erfahren Sie mehr über die Nutzung der Komponente tMap. Diese überaus vielseitige Komponente im Talend Data Integration Studio lässt sich für alle Arten von Transformationen und Mapping-Attribute von Quellzielen nutzen. Die Aggregationskomponente ist ebenfalls im Video zu sehen. Sie wird eingesetzt, um die Unique City sowie Codes aus der Datei zu konsolidieren.

Talend ist auch in der Lage, existierende Metadaten-Verbindungen wiederzuverwenden. So kann der Entwickler ganz einfach eine MySQL Datenbanktabelle in den Talend Prozess integrieren. Anschließend lässt er den Prozess laufen und kann den Fortschritt anhand der pro Sekunde gelesenen Datensätze aus der Jobdatei bestimmen. Anschließend lassen sich die Ergebnisse ganz einfach im Developer Studio visualisieren, indem man den gerade vom Prozess erstellten Output in der Datenbank öffnet.

Auch wenn Sie Talend noch nicht installiert haben, können Sie die im Video ausgeführten Schritte nachvollziehen, indem Sie sich hier Talend Open Studio kostenlos herunterladen.

Ressourcen zu diesem Thema

Beschleunigen Sie mit Talend Ihre Big Data-Integrationsprojekte

Erwähnte Produkte

Open Studio for Data Integration

 

Join The Conversation

0 Comments

Hinterlasse eine Antwort

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.