Frühling 2018 – was ist neu bei Talend?

Wir präsentieren: Talend Cloud Data Streams

Weitere Informationen

Sorgen Sie dafür, dass jeder mit vertrauenswürdigen Daten arbeiten kann

Die Talend-Frühlingsversion 2018 bietet neue Innovationen rund um Cloud, Big Data und Governance, damit Ihr Team noch einfacher datengestützte Ergebnisse liefern kann.

Die Aufnahme von Streaming-Daten ist jetzt noch einfacher
Serverloses Computing
Schnellere Big-Data-Integration
Talend Cloud Data Stewardship
Machen Sie die Integration von Streaming-Datenintegration aufeinfache uns schnelle Weise für Data Scientists und Data Engineers zugänglichReduzieren Sie die Kosten für die Verarbeitung von Cloud-Daten um 67 Prozent.Nutzen Sie die neueste Technologie, um in kürzester Zeit Cloud-Data-Warehouses und Data Lakes zu erstellen.Bieten Sie den Personen, die sich am besten mit den Daten auskennen, eine App für Selfservice-Datenkuratierung und -validierung.

ERFASSEN SIE IHRE STREAMING-DATEN

Talend Data Streams ist eine kostenlose Selfservice-Anwendung, die für Datenwissenschaftler, -analysten und -ingenieure entwickelt wurde, um die Integration von Streaming-Daten schneller, einfacher und erschwinglicher zu gestalten.

Als Cloud-Anwendung ist sie in Minutenschnelle einsatzbereit. Dank Schema-on-Read lassen sich neue Typen und Streaming-Daten mühelos erfassen. Die Steuerung und Erstellung von Streaming- und Batch-Pipelines erfolgt über eine einzige Oberfläche auf Basis von Apache Beam. Eine integrierte Python-Programmierschnittstelle beschleunigt die Pipeline-Erstellung und die einzigartige Live-Vorschau stellt Ihre Daten in jedem Designschritt dar.

Wir präsentieren: Talend Cloud Data Stewardship

Steigern Sie das Vertrauen in Ihre Daten mit Talend Cloud Data Stewardship, einer teambasierten App für Selfservice-Datenkuratierung und -validierung. Damit können die Personen, die sich am besten mit den Daten auskennen, Datenintegrationsprobleme schnell identifizieren und beheben. Mithilfe einer anwenderfreundlichen, webbasierten Oberfläche können Sie Benutzerrollen, Workflows und Prioritäten für die Datenkuratierung definieren und anschließend die Aufgaben verteilen. Schaffen Sie eine einzige Version der Wahrheit – egal, in welcher Cloud oder an welchem Ort sich Ihre Daten befinden. Es ist keine Installation erforderlich. Sie müssen einfach nur das Produkt als Talend Cloud-Service öffnen.

(Data Stewardship ist als Talend Cloud-Anwendung oder als Talend-Software zum Herunterladen und Installieren verfügbar.)

data stewardship
fast big data integration

Schnellere Big-Data-Integration

Verarbeiten Sie mehr Daten innerhalb kürzerer Zeit in Cloud-Data-Warehouses und Data Lakes und gewinnen Sie schnelle Erkenntnisse mit neuen ELT-push-down-Funktionen für Snowflake-, Spark- und Spark Streaming-Unterstützung im Azure Data Lake Store sowie mit erweiterten Datenextraktionsfunktionen für SAP.

Talend unterstützt jetzt eine dynamische Distribution für Cloudera und bietet Ihnen einen sofortigen Zugriff auf die neuesten Cloudera-Features, ohne dass Sie Talend upgraden müssen. Auf diese Weise sparen Sie Wochen oder sogar Monate. Sie brauchen Big-Data-Jobs nur einmal zu erstellen und können sie dann lokal, auf beliebigen Cloud-Plattformen oder als verwalteten Service von Talend Cloud- implementieren.

Data Preparation
Weitere Informationen
Was ist neu bei Big Data?

Produktivere DevOps

Durch kontinuierliche Integrationsverbesserungen lassen sich DevOps-Prozesse über lokale und Cloud-basierte Implementierungen hinweg beschleunigen. Mithilfe der neuesten Maven-Standards ist der Build-Prozess für Integrationen um bis zu 50 Prozent kürzer!

Dieses Release ermöglicht inkrementelle Builds in Studio, eine umfassendere Git-Unterstützung, standardmäßige Maven-Befehle für Daten- und Anwendungsintegration (technische Preview) und eine einfache Erweiterung des Build-Prozesses mit Maven-Plug-ins.

Talend Cloud bietet eine kostenlose Test-Engine sowie die Möglichkeit, Big-Data-Jobs remote zu debuggen. So nimmt das Testen und Debuggen nur ein paar Sekunden statt Minuten in Anspruch.

devops

Verbesserungen

Neue Features in den Releases Talend Spring ’18 und Winter ’18. Was in welchem Release und Produkt enthalten ist (als Software-Download oder Talend Cloud), erfahren Sie unter help.talend.com.

 

Big Data Integration

Verbessern Sie die Performance und Produktivität Ihrer Big-Data-Projekte:

  • Neue dynamische Distributionsunterstützung – Sie können Updates von Hadoop-Distributionen unmittelbar hinzufügen, ohne Talend upzugraden (anfängliche Unterstützung für Cloudera CDH).

  • Sie haben die Möglichkeit, Spark-Jobs im YARN-Cluster-Mode auszuführen. Auf diese Weise ist kein Jobserver auf einem Edge-Node zur Laufzeit erforderlich, was Ihre Implementierung vereinfacht und beschleunigt – ohne einen Single Point of Failure.

  • Ab sofort können Sie Daten noch besser aus SAP extrahieren – auf Anwendungs-, Datenbank- und Data-Warehouse-Ebene. Mit den neuen SAP-Bulk-Extraktionsfunktionen können Sie praktisch unbegrenzte Datenmengen aus SAP extrahieren. Nutzen Sie den Business-Content-Extraktor im Delta-Modus (technische Preview), um spielend leicht neue oder geänderte vordefinierte SAP-Daten zu extrahieren. ELT-Push-down-Unterstützung für SAP ermöglicht eine native Verarbeitung innerhalb von SAP, bevor die Daten in die Cloud verlagert werden.

  • Die verbesserte Unterstützung der Snowflake-Komponente ermöglicht ELT-push-down: Hier werden Datenverarbeitungen und -transformationen auf Snowflake-Clustern durchgeführt. Durch die enorme Performance und Skalierbarkeit von Snowflake lässt sich die Analyse erheblich beschleunigen.

  • In Cloudera Kudu können Sie Daten aufnehmen und abfragen. Hierbei handelt es sich um einen spaltenbasierten Hadoop-Speichermanager für schnelle Analysen rund um Fast-Data-Szenarien wie IoT, DSGVO und Betrugserkennung. Erweiterte Tuning-Optionen ermöglichen eine optimale Performance.

  • Dank der Unterstützung für MapR-DB OJAI können Sie erweiterte hierarchische Transformationen grafisch durchführen und MapR-DB OJAI-Abfragen auf der Grundlage Ihres Jobs vornehmen. Auf diese Weise profitieren Sie von einer schnelleren Performance und einer höheren Flexibilität für Web-, mobile, Social-Media- und IoT-basierte Anwendungen.

  • Vereinfachen Sie die AWS-S3-Sicherheitsimplementierung, indem Sie IAM-Rollen und einen sicheren Token-Service für Ihren Job nutzen.

  • Führen Sie Ihre Talend-Workloads auf Cloudera Altus auf Azure aus (zusätzlich zu AWS heute)

  • Verarbeiten Sie mehr Daten innerhalb kürzerer Zeit mit Spark- und Spark Streaming-Unterstützung für Microsoft Azure Data Lake Store.

  • Durch die Nachverfolgung von Anwendungs-IDs in Hive Query können Sie Ihre Talend-/Hive-Jobs besser verwalten.

  • Sie können sich Zeilenschlüssel in HBase holen und diese einstellen, um HBase-Best-Practices zu nutzen und mit Zeitreihendaten zu arbeiten.

Data Integration

Verbessern Sie Ihre Produktivität und Projektsicherheit:

  • Verbesserungen bei der Sicherheit und Produktivität von Jobservern, wie z. B.:

    • Rollenbasierte Sicherheit: Ein Studio-Entwickler kann nur Jobs für ein Projekt ausführen, für das er autorisiert ist.

    • Dank der verbesserten Jobserver-Datenbereinigung lassen sich aktive laufende Jobs und damit verbundene Abhängigkeiten oder Bibliotheken ignorieren.

    • Verbesserungen bei Scheduling und Fehlerbehebung ermöglichen es, Aufgaben auf unverfügbaren Jobservern und virtuellen Jobservern mit gewichteter Round-Robin-Lastverteilung neu zu starten.

    Verbesserungen des Talend Administration Center (TAC), wie z. B.:

    • Zusätzliche Single-Sign-on (SSO)-Optionen, einschließlich Unterstützung für PingFederate Server von Ping Identity und Microsoft Active Directory Federation Services

    • Größere Transparenz hinsichtlich aktueller Aktivitäten durch Auditing- und Sicherheitsprotokollierung; damit lassen sich sämtliche Benutzerinteraktionen einschließlich Zugriff, Modifizierungen und Konfigurationsänderungen nachverfolgen.

    • Neue Auditorenrolle für Konfiguration und Zugriff auf das Auditprotokoll sorgt für ein höheres Maß an Sicherheit.

  • Talend Cloud reduziert die Zeit für das Testen und Debuggen von mehreren Minuten auf wenige Sekunden mit einer kostenlosen Test-Engine sowie der Möglichkeit, Big-Data-Jobs remote zu debuggen und Jobs entweder in der Cloud oder in Remote-Engines zu debuggen.

  • Kontinuierliche Integrationsupdates, u. a. Nutzung von Maven-Standards für inkrementelle Builds in Studio, eine umfassendere Git-Unterstützung inklusive Bitbucket Server 5.x, Nexus-3-Unterstützung für Talend Artifact Repository, standardmäßige Maven-Befehle für Daten- und Anwendungsintegration (technische Preview) und eine einfache Erweiterung des Build-Prozesses durch Maven-Plug-ins und benutzerdefinierte Project Object Models (POMs)

  • Steigern Sie die Produktivität durch die Erstellung benutzerdefinierter Talend-Komponenten. Sie müssen die Komponenten nur einmal mit dem Talend Component Kit erstellen und können diese dann über alle Talend-Produkte und -Integrationsarten hinweg wiederverwenden – egal ob Batch oder Echtzeit, Datenintegration oder Big Data, lokal oder in der Cloud.

  • Sparen Sie Zeit durch den automatischen Abgleich von Spalten mit ähnlichem Namen durch intelligentes tMap-Fuzzy-Automapping; hierbei werden Datenqualitätsalgorithmen (Levenshtein, Jaccard) zur Durchführung von Fuzzy Matching verwendet.

  • Mehr Flexibilität und Produktivität bei der Joberstellung; Tabellennamen lassen sich durch ELTMap zur Laufzeit ändern und neue Routinen ermöglichen eine Anpassung an sich verändernde Schemata.

Data Quality

Verbessern Sie die Integrität von Cloud- und lokalen Daten in Ihrem Unternehmen:

  • Verbesserte Survivorship-Regeln mit spaltenbasierter Unterstützung ermöglichen eine fein abgestimmte Kontrolle über den Master-Value, den Sie behalten möchten.

  • Neue Komponente tPatternMasking zur Definition neuer Typen von Maskierungsmustern für Datenschutz- und Sicherheitskontrolle

  • Der Import und Export von Semantiktypen aus der Dictionary Service-UI vereinfacht die Promotion von Semantiktypen über verschiedene Umgebungen hinweg.

  • Talend Dictionary Service-REST-APIs sind jetzt öffentlich zugänglich; ihre Selbstdokumentation erfolgt über Swagger. Sie können den Talend Dictionary Service in Daten-/Anwendungsintegrationsszenarien nutzen und ihn programmatisch mit Daten befüllen.

  • Die Dictionary Service-UI ist auch in französischer Sprache erhältlich.

Data Preparation

Sorgen Sie für eine optimale Benutzererfahrung bei der Aufbereitung extrem umfangreicher Daten:

    • Mit dem Cloud Dictionary Service können Sie neue unternehmensspezifische Begriffe für Ihre Daten definieren, sodass sowohl Menschen als auch Maschinen die Daten einfacher verstehen und nutzen können.

    • Erweiterte Konnektivitätsoptionen mit Redshift- und Snowflake-Selfservice-Konnektoren

    • Durch die dynamische Auswahl von Datenaufbereitungen in einem Talend-Job lassen sich Wartung und Produktivität optimieren.

    • Verbesserte Flexibilität mit neuen Datenaufbereitungsfunktionen: grundlegende Deduplizierung, Standardisierung über durch Datenwörterbücher, Füllen von oben, Generierung einer Sequenz, Verwaltung von Prozentsätzen

    • Durch die Unterstützung benutzerdefinierter Textmarkierungs- und Maskierungszeichen für CSV-Dateien lassen sich nicht standardmäßige oder komplexe CSV-Dateien nutzen, ohne dass die Datei außerhalb von Talend Data Preparation standardisiert werden muss.

    • Die UI unterstützt jetzt Französisch und Japanisch.

Data Stewardship

Sie können sämtliche Datenintegritätsprobleme in kürzester Zeit identifizieren und beheben:

  • Stellen Sie den Personen, die sich am besten mit den Daten auskennen, Talend Cloud Data Stewardship zur Verfügung: eine teambasierte App für Selfservice-Datenkuratierung und -validierung, mit der sich Datenintegritätsprobleme schnell identifizieren und beheben lassen.

  • Mit dem Cloud Dictionary Service können Sie neue unternehmensspezifische Begriffe für Ihre Daten definieren, sodass andere – sowohl Menschen als auch Maschinen – die Daten einfacher verstehen und nutzen können.

  • Benutzer können ab sofort Kampagnen und Datenmodelle direkt aus der Talend Data Stewardship-UI importieren und exportieren. Dies ermöglicht eine einfachere Einhaltung der IT-Richtlinien, da sich die Promotion von Konfigurationen über verschiedene Umgebungen hinweg besser verwalten lässt (nur herunterladbare Software).

  • Die UI unterstützt jetzt Französisch und Japanisch.

MDM

Jetzt können Sie Ihre Stammdaten noch schneller erstellen, aufnehmen, pflegen und aktualisieren:

  • Lizenz- und Identitätsmanagement über das Talend Administration Center für eine verbesserte Sicherheit

  • Single-Sign-on für Data Preparation und Data Stewardship spart Zeit.

  • Verbesserung der REST-API („IN“-Operator)

  • Survivorship-Regeln pro Spalte in den in MDM integrierten Abgleichsfunktionen

  • Zu Security-Compliance-Zwecken werden alle Handlungen der Benutzer überprüft, einschließlich Log-in/Log-out und Konfigurationsimplementierung.

Talend Data Mapper

Steigern Sie die Performance komplexer Mappings:

  • tHMapRecord kann komplexe hierarchische Strukturen empfangen und auch versenden, um Outputs wie Kafka (tKafkaOutput) und Kinesis (tKinesisOutput) in eine Warteschlange einzureihen.

  • tHMap kann mehrere Outputs aus einem einzigen Input erstellen, was die Produktivität verbessert.

  • Neue Transformation- und Expression-Language-Funktionen wie Großschreibung, Kleinschreibung, Übersetzung und „Contains“

  • Verbesserte Umwandlung zwischen hierarchischen Daten und flachen Datensätzen

Größere Integrationsreichweite

supported systems

Wenn Sie wissen möchten, welche Komponenten in den einzelnen Talend-Produkten enthalten sind, besuchen Sie help.talend.com.

 

Neue und aktualisierte Hadoop-Distributionen

  • Amazon EMR 5.8

  • Cloudera CDH 5.12, 5.13

  • MapR 6.0

  • Spark 2.2

Neue und aktualisierte Komponenten

  • Amazon S3

  • Cloudera Kudu

  • Couchbase

  • FTP

  • Hbase

  • Hive

  • MapR-DB OJAI

  • Marketo

  • Marklogic

  • Microsoft Azure Data Lake Store

  • Microsoft Dynamics CRM 2016 (on-premises)

  • MongoDB

  • Neo4J

  • Oracle Cloud

  • SAP Business Suite

  • SAP Hana

  • SAP s/4Hana

  • Snowflake

  • Sybase

  • Vertica