Talend Big Data Advanced – Spark Streaming

Talend stellt eine Entwicklungsumgebung bereit, die Ihnen das Interagieren mit zahlreichen Big Data-Quellen und -Zielen auch ohne das Erlernen und Schreiben von kompliziertem Code gestattet.

In diesem Kurs wird auf Big Data Streaming Jobs für das Spark Streaming-Framework eingegangen.

Duration 1 Tag (7 Stunden)
Target audience Alle, die Talend Studio für Big Data-Systeme verwenden möchten
Prerequisites Grundkurs Talend Big Data
Course objectives

Das lernen Sie in diesem Kurs:

  • Aus einem Talend-Job heraus eine Verbindung mit einem Hadoop-Cluster herstellen
  • Kontextvariablen und Metadaten verwenden
  • Dateien in HDFS oder HBase in einem Big Data Batch Job oder in einem Big Data Streaming Job lesen und schreiben
  • Nachrichten in Echtzeit aus einem Kafka-Topic lesen bzw. dorthin schreiben
  • Big Data Batch Jobs für die Verwendung des Spark-Frameworks konfigurieren
  • Big Data Streaming Jobs für die Verwendung des Spark Streaming-Frameworks konfigurieren
Course agenda

Kontext für Spark

  • Konzepte

Einführung in Kafka

  • Hadoop-Cluster überwachen
  • Grundlagen von Kafka verstehen
  • Nachrichten in einem Kafka-Topic veröffentlichen
  • Nachrichten verarbeiten

Einführung in Spark

  • Grundlagen von Spark verstehen
  • Kundendaten analysieren
  • Nachrichten in Echtzeit erzeugen und verarbeiten

Anwendungsfall Logverarbeitung – angereicherte Logs generieren

  • Einführung in den Anwendungsfall Logverarbeitung
  • Unformatierte Logs generieren
  • Angereicherte Logs generieren

Anwendungsfall Logverarbeitung – Überwachen

  • Angereicherte Logs überwachen

Anwendungsfall Logverarbeitung – Berichterstellung

  • Berichte auf Grundlage von Datenfenstern generieren

Anwendungsfall Logverarbeitung – Batch-Analyse

  • Datenströme einlesen
  • Logs mit Batch Jobs analysieren