Neuigkeiten von Talend im Frühling 2018

Talend Data Streams

Daten optimal nutzen

Neue Verbesserungen rund um Cloud, Big Data und Governance sorgen dafür, dass Ihr Team noch einfacher datengestützte Ergebnisse liefern kann.

Das Erfassen von Streaming-Daten ist jetzt
noch einfacher

Ermöglichen Sie Datenwissenschaftlern, -analysten und -ingenieuren eine benutzerfreundliche Integration von Streaming-Daten.

Serverloses
Computing

Reduzieren Sie die Kosten für die Verarbeitung von Cloud-Daten um 67 Prozent.

Schnellere
Big-Data-Integration

Nutzen Sie neueste Technologie, um schnell Cloud-Data-Warehouses und Datenseen zu erstellen.


Cloud Data Stewardship

Stellen Sie den Mitarbeitern, die sich am besten mit den Daten auskennen, eine App für Selfservice-Datenkuratierung und -validierung bereit.

Erfassen Sie Ihre
Streaming-Daten

Talend Data Streams ist eine kostenlose Selfservice-Anwendung, die für Datenwissenschaftler, -analysten und -ingenieure entwickelt wurde, um die Integration von Streaming-Daten schneller, einfacher und erschwinglicher zu gestalten. Als Cloud-Anwendung ist sie in Minutenschnelle einsatzbereit. Dank Schema-on-Read lassen sich neue Typen und Streaming-Daten mühelos erfassen. Die Steuerung und Erstellung von Streaming- und Batch-Pipelines erfolgt über eine einzige Oberfläche auf Basis von Apache Beam. Eine integrierte Python-Programmierschnittstelle beschleunigt die Pipeline-Erstellung und die einzigartige Live-Vorschau stellt Ihre Daten in jedem Designschritt dar.

Webinar: Daten optimal nutzen

Reduzieren Sie die Kosten für die Verarbeitung von Cloud-Daten um 67 Prozent – mit serverlosen Technologien

Setzen Sie auf serverlose Services – so müssen Sie weniger Zeit für die Verwaltung Ihrer Infrastruktur aufwenden und können sich besser darauf konzentrieren, datengestützte Erkenntnisse zu liefern. Mithilfe von Maven-Plug-ins können Sie spielend leicht Docker in Ihren Build-Prozess integrieren und eine Implementierung auf serverlosen Services durchführen (z. B. AWS Fargate und Azure Container Instances, ACI). Durch sekundengenaue Abrechnung und höhere Ausführungsgeschwindigkeiten lassen sich die Datenverarbeitungskosten um bis zu 67 Prozent reduzieren. Zudem lässt sich die Performance durch die parallele Verarbeitung größerer Datenmengen um bis zu 50 Prozent steigern. Qubole und Cloudera Altus mit Azure-Unterstützung ermöglichen eine serverlose Big-Data-Integration. So lassen sich der Aufwand für die Serververwaltung minimieren und die Cloud-Ressourcen automatisch in beide Richtungen skalieren.

Artikel: How to go Serverless with AWS Lambda

Schnellere
Big-Data-Integration

Verarbeiten Sie mehr Daten innerhalb kürzerer Zeit für Cloud-Data-Warehouses und Datenseen. Gewinnen Sie schnelle Erkenntnisse mit neuen ELT-Push-down-Funktionen für Snowflake, neuer Spark- und Spark Streaming-Unterstützung im Azure Data Lake Store sowie erweiterten Datenextraktionsfunktionen für SAP.

Talend unterstützt jetzt eine dynamische Distribution (Technical Preview) für Cloudera und bietet Ihnen sofortigen Zugriff auf die neuesten Cloudera-Features, ohne dass Sie Talend upgraden müssen. So sparen Sie Wochen oder sogar Monate an Administrationszeit. Sie brauchen Big-Data-Jobs nur einmal zu erstellen und können sie dann lokal, auf einer beliebigen Cloud oder als verwalteten Talend-Cloud-Service implementieren.

Weitere Informationen: Neuigkeiten für Big Data

Talend Cloud Data Stewardship

Steigern Sie das Vertrauen in Ihre Daten mit Talend Cloud Data Stewardship, einer teambasierten App für Selfservice-Datenkuratierung und -validierung. Sie bietet den Mitarbeitern, die sich am besten mit den Daten auskennen, alles was sie brauchen, um Datenintegrationsprobleme schnell zu identifizieren und zu beheben. Mithilfe einer anwenderfreundlichen, webbasierten Oberfläche können Sie Benutzerrollen, Workflows und Prioritäten für die Datenkuratierung definieren und anschließend die Aufgaben verteilen. Schaffen Sie „eine einzige Version der Wahrheit“ – egal, in welcher Cloud oder an welchem Ort sich Ihre Daten befinden. Es ist keine Installation erforderlich. Sie müssen einfach nur das Produkt als Talend-Cloud-Service öffnen.

(Data Stewardship ist als Talend-Cloud-App oder als Talend-Software zum Herunterladen und Installieren verfügbar.)

Webinar: Teambasierte Data Quality und Data Stewardship

Verbesserungen

Hier finden Sie neue Features von Talend für Frühling und Winter 2018.
Wenn Sie erfahren möchten, welche Komponenten in den einzelnen Releases und Produkten enthalten sind, besuchen Sie uns unter help.talend.com

Big-Data-Integration
Datenintegration
Data Quality
Data Preparation
Data Stewardship
MDM
Talend Data Mapper
Big-Data-IntegrationVerbessern Sie die Performance und Produktivität Ihrer Big-Data-Projekte:
  • Neue dynamische Distributionsunterstützung (Technical Preview) für Cloudera CDH – Sie können Hadoop-Distributionsupdates unmittelbar hinzufügen, ohne Talend upzugraden.
  • Sie haben die Möglichkeit, Spark-Jobs im YARN-Cluster-Mode auszuführen. Auf diese Weise ist kein Jobserver auf einem Edge-Node während der Laufzeit erforderlich, was Ihre Implementierung vereinfacht und beschleunigt – ohne Single Point of Failure.
  • Ab sofort können Sie Daten noch besser aus SAP extrahieren – auf Anwendungs-, Datenbank- und Data-Warehouse-Ebene. Mit den neuen SAP-Bulk-Extraktionsfunktionen können Sie praktisch unbegrenzte Datenmengen aus SAP extrahieren. Nutzen Sie den Business-Content-Extraktor im Delta-Modus (Technical Preview), um spielend leicht neue oder geänderte vordefinierte SAP-Daten zu extrahieren. Die ELT-Push-down-Unterstützung für SAP ermöglicht eine native Verarbeitung innerhalb von SAP, bevor die Daten in die Cloud verlagert werden.
  • Die verbesserte Unterstützung der Snowflake-Komponente ermöglicht ELT-Push-down: Hier werden Datenverarbeitungen und -transformationen auf Snowflake-Clustern durchgeführt. Durch die enorme Performance und Skalierbarkeit von Snowflake lässt sich die Analyse erheblich beschleunigen.
  • In Cloudera Kudu können Sie Daten erfassen und abfragen. Hierbei handelt es sich um einen spaltenbasierten Hadoop-Speichermanager für schnelle Analysen rund um Fast-Data-Szenarien wie IoT, DSGVO und Betrugserkennung. Erweiterte Tuning-Optionen ermöglichen eine optimale Performance.
  • Dank der Unterstützung für MapR-DB OJAI können Sie erweiterte hierarchische Transformationen grafisch durchführen und MapR-DB OJAI-Abfragen auf der Grundlage Ihres Jobs vornehmen. So profitieren Sie von schnellerer Performance und höherer Flexibilität für Web-, Mobile-, Social-Media- und IoT-basierte Anwendungen.
  • Vereinfachen Sie die AWS-S3-Sicherheitsimplementierung, indem Sie IAM-Rollen und einen sicheren Token-Service für Ihren Job nutzen.
  • Führen Sie Ihre Talend-Workloads auf Cloudera Altus in Azure aus (zusätzlich zu AWS heute).
  • Verarbeiten Sie mit Spark- und Spark Streaming-Unterstützung für Microsoft Azure Data Lake Store mehr Daten innerhalb kürzerer Zeit.
  • Durch die Nachverfolgung von Anwendungs-IDs in Hive Query können Sie Ihre Talend-/Hive-Jobs besser verwalten.
  • Sie können sich Zeilenschlüssel in HBase holen und diese einstellen, um HBase-Best-Practices zu nutzen und mit Zeitreihendaten zu arbeiten.
DatenintegrationVerbessern Sie Ihre Produktivität und Projektsicherheit:
  • Verbesserungen bei der Sicherheit und Produktivität von Jobservern, wie z. B.:
    • Rollenbasierte Sicherheit: Ein Studio-Entwickler kann nur Jobs für ein Projekt ausführen, für das er autorisiert ist.
    • Dank der verbesserten Jobserver-Datenbereinigung lassen sich aktive laufende Jobs und damit verbundene Abhängigkeiten oder Bibliotheken ignorieren.
    • Verbesserungen bei Scheduling und Fehlerbehebung ermöglichen es, Aufgaben auf nicht verfügbaren Jobservern und virtuellen Jobservern mit gewichteter Round-Robin-Lastverteilung neu zu starten.
  • Verbesserungen des Talend Administration Center (TAC), wie z. B.:
    • Zusätzliche SSO-Optionen (Single-Sign-On), einschließlich Unterstützung für PingFederate Server von Ping Identity und Microsoft Active Directory Federation Services
    • Größere Transparenz hinsichtlich aktueller Aktivitäten durch Auditing- und Sicherheitsprotokollierung; damit lassen sich sämtliche Benutzerinteraktionen einschließlich Zugriff, Modifizierungen und Konfigurationsänderungen nachverfolgen.
    • Neue Auditorenrolle für Konfiguration und Zugriff auf das Auditprotokoll sorgt für ein höheres Maß an Sicherheit.
  • Die Talend-Cloud reduziert die Zeit für das Testen und Debuggen von mehreren Minuten auf wenige Sekunden mit einer kostenlosen Test-Engine sowie der Möglichkeit, Big-Data-Jobs remote zu debuggen und Jobs entweder in der Cloud oder in Remote-Engines zu debuggen.
  • Kontinuierliche Integrationsupdates, u. a. Nutzung von Maven-Standards für inkrementelle Builds in Studio, eine umfassendere Git-Unterstützung inklusive Bitbucket Server 5.x, Nexus-3-Unterstützung für Talend Artifact Repository, standardmäßige Maven-Befehle für Daten- und Anwendungsintegration (Technical Preview) und eine einfache Erweiterung des Build-Prozesses durch Maven-Plug-ins und benutzerdefinierte Project Object Models (POMs)
  • Steigern Sie die Produktivität durch die Erstellung benutzerdefinierter Talend-Komponenten. Sie müssen die Komponenten nur einmal mit dem Talend Component Kit erstellen und können diese dann über alle Talend-Produkte und -Integrationsarten hinweg wiederverwenden – egal ob Batch oder Echtzeit, Datenintegration oder Big Data, lokal oder in der Cloud.
  • Sparen Sie Zeit durch den automatischen Abgleich von Spalten mit ähnlichem Namen durch intelligentes tMap-Fuzzy-Automapping; hierbei werden Datenqualitätsalgorithmen (Levenshtein, Jaccard) zur Durchführung von Fuzzy Matching verwendet.
  • Mehr Flexibilität und Produktivität bei der Joberstellung; Tabellennamen lassen sich durch ELTMap während der Laufzeit ändern und neue Routinen ermöglichen eine Anpassung an sich verändernde Schemata.
Data QualityVerbessern Sie die Integrität von Cloud- und lokalen Daten in Ihrem Unternehmen:
  • Verbesserte Survivorship-Regeln mit spaltenbasierter Unterstützung ermöglichen eine fein abgestimmte Kontrolle über den Master-Value, den Sie behalten möchten.
  • Neue Komponente tPatternMasking zur Definition neuer Typen von Maskierungsmustern für Datenschutz- und Sicherheitskontrolle
  • Der Import und Export von Semantiktypen aus der Dictionary Service-UI vereinfacht das Propagieren von Semantiktypen über verschiedene Umgebungen hinweg.
  • Talend Dictionary Service-REST-APIs sind jetzt öffentlich zugänglich; ihre Selbstdokumentation erfolgt über Swagger. Sie können den Talend Dictionary Service in Daten-/Anwendungsintegrationsszenarien nutzen und ihn programmatisch mit Daten befüllen.
  • Die Dictionary Service-UI ist auch in französischer Sprache erhältlich.
Data Preparation Sorgen Sie für eine optimale Benutzererfahrung bei der Aufbereitung extrem umfangreicher Daten:
  • Mit dem Cloud Dictionary Service können Sie neue unternehmensspezifische Begriffe für Ihre Daten definieren, damit sowohl Menschen als auch Maschinen die Daten einfacher verstehen und nutzen können.
  • Erweiterte Konnektivitätsoptionen mit Redshift- und Snowflake-Selfservice-Konnektoren
  • Durch die dynamische Auswahl von Datenaufbereitungen in einem Talend-Job lassen sich Wartung und Produktivität optimieren.
  • Höhere Flexibilität mit neuen Datenaufbereitungsfunktionen: grundlegende Deduplizierung, Standardisierung über Datenwörterbücher, Füllen von oben, Generierung einer Sequenz, Verwaltung von Prozentsätzen
  • Durch die Unterstützung benutzerdefinierter Textmarkierungs- und Maskierungszeichen für CSV-Dateien lassen sich nicht-standardmäßige oder komplexe CSV-Dateien nutzen, ohne dass die Datei außerhalb von Talend Data Preparation standardisiert werden muss.
  • Die UI unterstützt jetzt Französisch und Japanisch.
Data Stewardship Sie können sämtliche Datenintegritätsprobleme in kürzester Zeit identifizieren und beheben:
  • Stellen Sie den Mitarbeitern, die sich am besten mit den Daten auskennen, Talend Cloud Data Stewardship zur Verfügung, eine teambasierte App für Selfservice-Datenkuratierung und -validierung, mit der sich Datenintegritätsprobleme im Handumdrehen identifizieren und beheben lassen.
  • Mit dem Cloud Dictionary Service können Sie neue unternehmensspezifische Begriffe für Ihre Daten definieren, damit sowohl Menschen als auch Maschinen die Daten einfacher verstehen und nutzen können.
  • Benutzer können ab sofort Kampagnen und Datenmodelle direkt aus der Talend Data Stewardship-UI importieren und exportieren. Dies ermöglicht eine einfachere Einhaltung der IT-Richtlinien, da sich das Propagieren von Konfigurationen über verschiedene Umgebungen hinweg besser verwalten lässt (nur herunterladbare Software).
  • Die UI unterstützt jetzt Französisch und Japanisch.
MDM Jetzt können Sie Ihre Stammdaten noch schneller erstellen, erfassen, pflegen und aktualisieren:
  • Lizenz- und Identitätsmanagement über Talend Administration Center für höhere Sicherheit
  • Single-Sign-On für Data Preparation und Data Stewardship spart Zeit.
  • Verbesserung der REST-API („IN“-Operator)
  • Survivorship-Regeln pro Spalte in den in MDM integrierten Abgleichsfunktionen
  • Zu Sicherheitscompliance-Zwecken werden alle Benutzeraktionen überprüft, einschließlich Anmelde-/Abmeldevorgänge und Konfigurationsimplementierung.
Talend Data Mapper Steigern Sie die Performance komplexer Mappings:
  • tHMapRecord kann komplexe hierarchische Strukturen empfangen und auch versenden, um Outputs wie Kafka (tKafkaOutput) und Kinesis (tKinesisOutput) in eine Warteschlange einzureihen.
  • tHMap kann mehrere Outputs aus einem einzigen Input erstellen, was die Produktivität steigert.
  • Neue Transformation- und Expression-Language-Funktionen wie Großschreibung, Kleinschreibung, Übersetzung und Contains
  • Verbesserte Umwandlung zwischen hierarchischen Daten und flachen Datensätzen

Größere Datenintegrationsreichweite

Wenn Sie wissen möchten, welche Komponenten in den einzelnen Talend-Produkten enthalten sind, besuchen Sie uns unter help.talend.com.

Neue und aktualisierte Hadoop-Distributionen

  • Amazon EMR 5.8
  • Cloudera CDH 5.12, 5.13
  • MapR 6.0
  • Spark 2.2

Neue und aktualisierte Komponenten

  • Amazon S3
  • Cloudera Kudu
  • Couchbase
  • FTP
  • Hbase
  • Hive
  • MapR-DB OJAI
  • Marketo
  • Marklogic
  • Microsoft Azure Data Lake Store
  • Microsoft Dynamics CRM 2016 (vor Ort)
  • MongoDB
  • Neo4J
  • Oracle Cloud
  • SAP Business Suite
  • SAP Hana
  • SAP s/4Hana
  • Snowflake
  • Sybase
  • Vertica