Ein Tag im Leben eines Datenintegrationsentwicklers: Grundfunktionen des Jobdesigns [Teil 5]

In diesem Teil der Reihe Ein Tag im Leben eines Datenintegrationsentwicklers geht es um Grundfunktionen des Jobdesigns in Talend Studio. Als Erstes sehen wir uns die Kontextvariablen an.

Kontextvariablen können global oder lokal verwendet werden und sind sehr nützlich. Mit globalen Kontextvariablen können Sie Jobs dynamischer machen, sodass Sie sie zwischen Entwicklung, Test und Produktion verschieben können.

Zunächst sehen wir uns ein paar Kontextvariablen im Dimensionsladevorgang an.

Ich habe hier auf der linken Seite ein paar globale Kontextvariablen definiert.

Screenshot Talend Studio

Wir öffnen die Kontextvariable für das Datenbanksuffix und den Dateinamen. Diese Kontextvariable wird bei allen Airline-Ladevorgängen verwendet – sowohl für die Dimensions- als auch die Faktentabellen. Ich werde das Suffix für die Datenbank, die Dateinamen und den Pfad definieren.

Hier sind verschiedene Konfigurationen enthalten.

Screenshot Talend Studio

Ich kann Konfigurationen für Entwicklung, Produktion und QA haben. So kann ich wählen, welche Kontextvariable ich verwende, je nachdem, welche Umgebung ich laden möchte. Die Kontextvariablen sind dann Teil des Verbindungsstrings und des Dateipfads in den Jobs.

So kann ich die Jobs migrieren, ohne Code ändern zu müssen. Ich wähle einfach eine andere Konfiguration für Parameter aus.

Wenn Sie auf den Job klicken und dann die Registerkarte Context öffnen, wird angezeigt, wo diese Kontextvariablen in den Job importiert wurden. Hier sind die Kontextvariablen mit dem Datenbanksuffix und dem Dateipfad.

Screenshot Talend Studio

Wenn Sie diese Kontexte ausgewählt oder importiert haben, um die Konfiguration auszuwählen, klicken Sie auf das Symbol rechts oben. Es öffnet sich ein Fenster, in dem Sie die Umgebung auswählen können (dev, QA oder prod). Hier wird dev verwendet.

Sie sehen auch, wie die Variablen verwendet werden. Dieser Verbindungsstring hat z. B. das Suffix „db“ nach „airline“. Je nachdem, welche Konfiguration ich verwende, ist der Name also airline_dev oder airline_prod.

Wenn Sie diesen Vorgang jetzt ausführen, wird die airline_dev-Konfiguration bzw. die Datenbank mit Werten gefüllt. Sie ist mit den dev-Passwörtern eingerichtet, die ich aus einem Referenzkontextprojekt importiert habe. Nach Abschluss des Vorgangs werden meine Airline-Dimensionstabellen für dev geladen.

Weitere Informationen zu diesem Prozess erhalten Sie im obigen Video. Als Nächstes erfahren Sie, wie Sie Datenintegrationsjobs selbst dokumentieren.

| Zuletzt aktualisiert: August 30th, 2019