Datenmigration verstehen: Strategie und Best Practices

Die meisten modernen Unternehmen setzen auf Big Data – und Big Data schläft nie. Daher müssen die Datenintegration und die Datenmigration gut angelegte Prozesse sein, die nahtlos funktionieren – egal, ob Daten von der Eingabe zu einem Data Lake, von einem Repository zum anderen, von einem Data Warehouse zu einem Data Mart oder in bzw. durch die Cloud migrieren. Ohne einen guten Datenmigrationsplan kann es passieren, dass Unternehmen ihr Budget überschreiten oder Datenprozesse extrem komplex werden und nicht den Erwartungen entsprechen.

Was ist Datenmigration?

 

Als Datenmigration bezeichnet man die Übertragung von Daten von einem System zum anderen. Das mag zwar recht einfach erscheinen, erfordert aber einen Wechsel des Speichers und der Datenbank oder Anwendung.

In Bezug auf den ETL-Prozess (Extraktion/Transformation/Laden) umfasst die Datenmigration in jedem Fall mindestens die Transformation und das Laden. Das bedeutet, dass die extrahierten Daten bei der Aufbereitung eine Reihe von Funktionen durchlaufen müssen bevor sie an den Zielort geladen werden können.

Es gibt viele Gründe, warum Datenmigrationen durchgeführt werden. Manche Organisationen müssen ein gesamtes System überholen, andere ihre Datenbanken aufrüsten, ein neues Data Warehouse erstellen oder neue Daten von einer Akquisition oder aus anderen Quellen integrieren. Eine Datenmigration ist auch erforderlich, wenn ein anderes System neben bestehenden Anwendungen implementiert wird.

Laden Sie Why Your Next Data Warehouse Should Be in the Cloud jetzt herunter.
HERUNTERLADEN

Warum eine Datenmigrationsstrategie wichtig ist

 

Egal, was genau der Grund für eine Datenmigration ist, – in der Regel geht es darum, die Performance und Wettbewerbsfähigkeit zu steigern.

Aber Sie müssen es richtig anpacken.

Weniger erfolgreiche Migrationen können zu ungenauen Daten mit Redundanzen und Unwägbarkeiten führen. Das kann selbst bei voll nutzbaren und adäquaten Quelldaten passieren. Zudem können sich Probleme, die bereits in den Quelldaten vorhanden waren, bei der Überführung in ein neues, komplexeres System verstärkt auswirken.

Mit einer umfassenden Strategie lässt sich verhindern, dass die Datenmigration suboptimal abläuft und am Ende mehr Probleme schafft als löst. Neben Termin- und Budgetüberschreitungen können lückenhafte Konzepte dazu führen, dass Migrationsprojekte komplett scheitern. Bei der strategischen Planung sollten sich die Teams voll auf die Migration konzentrieren, statt andere Großprojekte zu priorisieren.

Ein strategischer Datenmigrationsplan sollte diese kritischen Faktoren berücksichtigen:

  • Kenntnis der Daten – Vor der Migration müssen die Quelldaten einer kompletten Prüfung unterzogen werden. Falls dieser Schritt ausgelassen wird, kann es zu unerwarteten Problemen kommen.

  • Cleanup – Wenn Sie Probleme mit den Quelldaten identifiziert haben, müssen diese behoben werden. Eventuell sind dazu zusätzliche Softwaretools und externe Ressourcen aufgrund des hohen Aufwands erforderlich.

  • Wartung und Schutz – Daten werden mit der Zeit immer schlechter und somit unzuverlässig. Daher müssen Kontrollen vorhanden sein, um die Datenqualität aufrechtzuerhalten.

  • Governance – Nachverfolgung und Reporting zur Datenqualität sind wichtig, weil sie ein besseres Verständnis der Datenintegrität liefern. Die Prozesse und Tools, die für die Bereitstellung dieser Informationen eingesetzt werden, sollten benutzerfreundlich sein und wo möglich automatisierte Funktionen bieten.

Neben einem strukturierten, schrittweisen Ablauf sollte im Datenmigrationsplan ein Prozess vorgesehen sein, um die richtige Software und geeignete Tools für das Projekt bereitzustellen.

Ansehen How to Use Machine Learning to Scale Data Quality jetzt herunter.
Jetzt ansehen

Datenmigrationsstrategien

Bei der Entwicklung einer Datenmigrationsstrategie gibt es nicht nur einen Weg, der zum Ziel führt. Um ein passendes Konzept zu finden, ist es wichtig, die individuellen Geschäftsanforderungen der Organisation zu berücksichtigen. Die meisten Strategien fallen indes in eine dieser beiden Kategorien: „Big Bang“ oder „Trickle“.

„Big Bang“-Migration

Bei einer Big Bang-Migration erfolgt der komplette Transfer innerhalb eines begrenzten Zeitfensters. Die Live-Systeme sind nicht verfügbar, solange die Daten den ETL-Prozess durchlaufen und in die neue Datenbank übertragen werden.

Der Nachteil dieser Methode liegt auf der Hand: Alles passiert innerhalb eines festgelegten Zeitrahmens, sodass die Migration in relativ kurzer Zeit stattfinden muss. Da eine wichtige Ressource während des laufenden Geschäftsbetriebs offline ist, kann der Druck enorm sein. Dies birgt das Risiko, dass es bei der Implementierung zu Problemen kommt.

Falls der Big Bang-Ansatz für Ihr Unternehmen am meisten Sinn macht, ist es ratsam, den Migrationsprozess im Vorfeld erst einmal durchzuspielen.

„Trickle“-Migration

Bei Trickle-Migrationen dagegen findet der Migrationsprozess in mehreren Phasen statt. Während der Implementierung laufen das alte und neue System parallel, sodass es keine Ausfälle oder operativen Unterbrechungen gibt. Da die Prozesse in Echtzeit ausgeführt werden, kann die Migration der Daten kontinuierlich erfolgen.

Im Vergleich zum Big Bang-Ansatz können sich diese Implementierungen ziemlich komplex gestalten. Wenn das Projekt jedoch richtig angegangen wird, sorgt die zusätzliche Komplexität in der Regel dafür, dass Risiken reduziert werden, statt dass weitere dazukommen.

Best Practices für die Datenmigration

Egal, für welche Implementierungsmethode Sie sich entscheiden, gibt es einige Best Practices zu berücksichtigen:

  • Vorab Datenbackup durchführen. Sie können es sich nicht leisten, Daten zu verlieren, falls bei der Implementierung etwas schiefgeht. Sorgen Sie dafür, dass Sie Backupressourcen haben und diese im Vorfeld getestet wurden.

  • An der Strategie festhalten. Viele Datenmanager halten sich nicht an ihren Plan, wenn der Prozess allzu glatt läuft oder außer Kontrolle gerät. Migrationen können kompliziert und manchmal auch frustrierend sein. Bereiten Sie sich darauf vor und halten Sie sich an Ihren Plan.

  • Testen, testen, testen. Während der Planungs- und Designphase, aber auch bei der Implementierung und Wartung ist es wichtig, die Datenmigration zu testen, um sicherzustellen, dass Sie das gewünschte Ergebnis erhalten.

6 wichtige Schritte einer Datenmigrationsstrategie

Die meisten Strategien unterscheiden sich entsprechend den Anforderungen und Zielen der jeweiligen Organisation in den Details, doch generell sollte ein Datenmigrationsplan demselben wiedererkennbaren Muster folgen:

1. Die Quelle untersuchen und bewerten

Vor der Datenmigration müssen Sie wissen (und verstehen), was Sie migrieren und wie es in das Zielsystem passt. Machen Sie sich ein Bild, wie viele Daten übertragen werden und wie diese aussehen.

Es kann Daten mit vielen Feldern geben, von denen einige nicht im Zielsystem abgebildet werden müssen. Es können aber auch Datenfelder innerhalb einer Quelle fehlen, die von einem anderen Ort entnommen werden müssen, um die Lücke zu füllen. Fragen Sie sich, was übertragen werden muss, worauf Sie verzichten können oder was eventuell fehlt.

Sie sollten nicht nur die Anforderungen hinsichtlich der zu übertragenden Datenfelder erfüllen, sondern auch prüfen, welche Daten tatsächlich darin enthalten sind. Falls es unzureichend befüllte Felder, viele unvollständige Datenelemente, Ungenauigkeiten oder andere Probleme gibt, sollten Sie sich überlegen, ob es überhaupt sinnvoll ist, diese Daten zu migrieren.

Organisationen, die ihre Quelldaten im Vorfeld nicht prüfen und davon ausgehen, dass sie ihre Daten gut genug kennen, laufen Gefahr, Zeit und Geld bei der Migration zu verschwenden. Oder schlimmer noch: Es könnte zu einem kritischen Fehler beim Datenmapping kommen, der das Projekt ins Stocken bringt.

2. Die Migration definieren und konzipieren

In der Designphase definieren Organisationen, welchen Migrationsansatz sie verfolgen: Big Bang oder Trickle. Dazu gehören auch der Entwurf der technischen Architektur der Lösung und die Details des Migrationsprozesses.

Jetzt können Sie anfangen, die Zeitpläne und sämtliche Belange für Ihr Projekt unter Berücksichtigung des Designs, der für die Übertragung vorgesehenen Daten und des Zielsystems festzulegen. Am Ende dieses Schritts sollte das gesamte Projekt dokumentiert sein.

Während der Planung ist es wichtig, Sicherheitskonzepte für die Daten zu berücksichtigen. Für sämtliche Daten, die geschützt werden müssen, sollten Schutzmaßnahmen vorgesehen werden.

3. Die Migrationslösung erstellen

Es kann verlockend sein, bei der Entwicklung des Migrationsprojekts nur auf das Nötigste zu achten. Doch da Sie die Implementierung nur einmal durchführen, ist es wichtig, sie richtig hinzubekommen. Eine verbreitete Taktik ist es, Daten in Untereinheiten aufzuteilen und immer nur eine Kategorie auf einmal zu erstellen, um anschließend einen Test durchzuführen. Für Organisationen, die an besonders großen Migrationen arbeiten, kann es sinnvoll sein, Erstellung und Tests parallel laufen zu lassen.

4. Einen Live-Test durchführen

Die Testphase ist nicht vorbei, wenn Sie den Code in der Buildphase getestet haben. Es ist wichtig, das Datenmigrationsdesign mit echten Daten zu testen, um die Genauigkeit der Implementierung und die Vollständigkeit der Anwendung zu gewährleisten.

5. Den Schalter umlegen

Nach den finalen Tests kann die Implementierung entsprechend dem Ansatz erfolgen, der im Plan definiert ist.

6. Prüfung

Nachdem die Implementierung live gegangen ist, setzen Sie ein System zur Datenprüfung auf, um die Genauigkeit der Migration sicherzustellen.

Datenmigrationssoftware

Datenmigrationstools von Grund auf neu zu erstellen und per Hand zu programmieren ist schwierig und unglaublich zeitaufwändig. Datentools zur Vereinfachung von Migrationen sind effizienter und kosteneffektiver. Wenn Sie anfangen, nach einer Softwarelösung zu suchen, sollten Sie auf diese Faktoren achten:

  • Konnektivität – Unterstützt die Lösung die Systeme und Software, die Sie aktuell im Einsatz haben?
  • Skalierbarkeit – Was sind die Datenlimits für die Software und werden sie in absehbarer Zeit noch für die Datenanforderungen ausreichen?
  • Sicherheit – Nehmen Sie sich Zeit, um herauszufinden, welche Sicherheitsmaßnahmen eine Softwareplattform bietet. Ihre Daten zählen zu Ihren wertvollsten Ressourcen und müssen geschützt werden.
  • Geschwindigkeit – Wie schnell kann die Verarbeitung auf der Plattform ablaufen?
  • Datenmigration in die Cloud

    Immer mehr Organisationen verlagern Ihre Daten teilweise oder ganz in die Cloud, um ihre Time to Market zu verkürzen, die Skalierbarkeit zu verbessern und den Bedarf an technischen Ressourcen zu verringern.

    Ansehen Migrating to a Cloud Data Warehouse Architecture with AWS Redshift jetzt herunter.
    Jetzt ansehen

    Früher waren Datenarchitekten damit beschäftigt, größere Serverfarmen vor Ort zu implementieren, damit die Daten an die physischen Ressourcen der Organisation gebunden bleiben. Die Gründe für den lokalen Betrieb von Servern waren u. a. Sicherheitsbedenken in Bezug auf die Cloud. Doch nachdem alle wichtigen Plattformen Sicherheitsmaßnahmen eingeführt haben wie sie in herkömmlichen IT-Abteilungen üblich sind (und natürlich auch der DSGVO entsprechen), ist diese Migrationsbarriere weitgehend überwunden.

    Die richtigen Cloud-Integrationstools unterstützen Kunden dabei, ihre Cloud-Datenmigrationsprojekte mit einer hochskalierbaren und sicheren Cloud-Integration Platform-as-a-Service (iPaaS) zu beschleunigen. Talends Suite an Cloud-nativen Open Source-Datenintegrationstools ermöglicht Drag & Drop-Funktionen, um komplexes Mapping zu vereinfachen. Zudem ist unsere Lösung dank unseren Open-Source-Foundations kosteneffektiv und effizient.

    Datenintegration – Erste Schritte

    Wenn Ihre Organisation die IT aufrüstet, in die Cloud geht oder Daten konsolidiert, könnte bald auch eine Datenmigration anstehen. Das ist ein großes und wichtiges Projekt, das Sie richtig anpacken müssen, damit die Integrität Ihrer Daten gewährleistet bleibt.

    Die Talend-Plattform bietet kostenlose Open Source-Datentools, die jeden Schritt im Datenmigrationsprozess optimieren können, angefangen bei der Datenaufbereitung über die Integration bis zum kontinuierlichen Datenstreaming. Starten Sie Ihre Datenmigration und lernen Sie dabei unsere leistungsfähige Software kennen, um Ihr Projekt voranzutreiben.

    | Zuletzt aktualisiert: June 14th, 2019