Optimiertes Data Management macht Datenintegration erfolgreich

Datenintegration – miese Karten bei schlechter Datenqualität

Es gibt unzählige Szenarien bei allen in Datenbanken gespeicherten Geschäftsdaten, in denen mangelhafte Datenqualität die Datenintegration behindert. Anders als bei fehlerhaften Kunden- oder Lieferantenadressen existieren bei anderen Datendomänen wie Produkt- oder Materialstammdaten keine maschinell zugänglichen Referenzen oder Modelle, auf deren Basis Abweichungen automatisch erkannt und bereinigt werden können. Hier müssen die für erfolgreiche Integrationsprozesse erforderlichen Maßnahmen rechtzeitig erkannt und spezifische Übernahmeregeln und Schritte zur Sicherung der Datenqualität definiert werden.

Zugang zu Quell- und Zielsystemen bei Datenintegration nur umständlich zu realisieren

Bei der Datenintegration muss oft der Zugang zu einer Vielzahl unterschiedlicher Datenquellen hergestellt werden. Es müssen Daten aus relationalen Datenbanksystemen, aber auch aus Legacy-Systemen oder unterschiedlichen File-Systemen extrahiert werden und nach einem Transformationsprozess in ein Zielsystem geladen werden.

Daten müssen für Integration auf ein einheitliches Zielformat gebracht werden

Die Geschäftsdaten aus den Quellsystemen werden üblicherweise sowohl syntaktisch als auch semantisch nicht den Anforderungen entsprechen, welche die Applikationen von dem Zielsystem erwarten. Deshalb muss vor der Speicherung der Daten im Zielsystem ein entsprechender Transformationsprozess durchgeführt werden.

Modellierung von Daten und Metadaten

Die Gestaltung von Datenintegrationsprozessen ist eine für unterschiedliche Applikationsszenarien immer wiederkehrende Aufgabe. Um eine ständige Wiederholung gleicher Arbeitsschritte zur Vorbereitung und Durchführung von Datenintegrationen zu vermeiden und an einer zentralen Stelle einen Überblick über die Datenlandschaft zu bekommen, werden Metadaten über die Syntax und Semantik von Quell- und Zieldaten ermittelt und gemeinsam mit den Workflows der Datenintegration in einem gemeinsamen Repository gespeichert.

Daten enthalten verwaiste Datensätze

Jedes Datenobjekt steht in einer Datenbank immer in Beziehung zu einem übergeordneten Objekt. Beispielsweise ist ein Kontakt immer einer Firma zugeordnet oder eine Angebotsposition einem Angebot. Fehlen im Quellsystem diese Zuordnungen (”verwaiste Daten”), die aber vom Datenmodell des Zielsystems zwingend gefordert werden, kommt es zu Fehlern bei der Datenübernahme. Dies ist besonders problematisch bei der Zusammenführung von Daten aus verschiedenen Systemen z.B. aus ERP- und CRM-Systemen mit unterschiedlichen Datenbankschemata.

Mängel in Businessdaten und / oder unterschiedliche Formatierungen

Bevor bei einer Datenintegration bestimmte Daten miteinander verknüpft werden, kann eine umfassende Analyse und Bereinigung fehlerhafter oder veralteter Daten vor der Zusammenführung die Datenqualität deutlich steigern. Unterschiedlich formatierte Adressen gibt es vor allem dann, wenn Daten aus mehreren Quellsystemen zusammengeführt werden sollen, die Datenstrukturen dort aber unterschiedlich definiert waren. Beispielsweise wurden im Quellsystem für die Kundendaten die Straßenadresse und die Hausnummer in ein Feld eingegeben, wofür im Zielsystem getrennte Felder vorgesehen sind.

Dubletten bei Kunden- und anderen Daten

Dubletten bei jeder Form von Daten können Auswertungen verfälschen und zu überflüssigen Aufwänden und Kosten durch Mehrfachbearbeitung führen. Entstehen bereits in den Quellsystemen durch Dubletten unnötige Kosten, so vervielfacht sich das Problem durch die Integration von Daten aus mehreren Quellsystemen in ein Zielsystem.

Verknüpfung von Daten unterschiedlicher Systeme

Objekte werden in unterschiedlichen Systemen oft mit abweichenden Namen gespeichert, so dass eine automatische Zusammenführung per Vergleich von Zeichenketten nicht ausreicht. Dies kann an unterschiedlichen Normen zur Speicherung von Stammdaten liegen oder an abweichenden Datenstrukturen von Quell- und Zielsystem. Wurden etwa Kontakte in der Datenbank des Vertriebs in der Hierarchie Firma und Ansprechpartner abgelegt, in der Support-Datenbank Firma und Ansprechpartner in einem Record als eine Einheit erfasst, müssen die Supportdaten bei der Übernahme in ein CRM-System neu gruppiert und mit denen der Vertriebsdatenbank zusammengeführt werden.

Aktuellen Zustand der Datenqualität ermitteln

Bevor man an die Verbesserung der Datenqualität geht, sollte man sich erst mal ein Bild der ursächlichen Probleme machen. Um geeignete Maßnahmen zu ergreifen, ist es unabdingbar zu verstehen, wo die Ursachen der Probleme versteckt sind. Wir bieten Ihnen einen Data Quality Audit an, der konkrete Aussagen zum aktuellen Zustand der Datenqualität ermöglicht.

Die Ergebnisse des Audits sind eine fundierte Basis für eine solide Planung von Folgeprojekten. Gerade bei anstehenden Migrationsprojekten ist eine ausführliche IST-Analyse direkt abhängig vom Erfolg des Gesamtprojektes.

Erfahren Sie hier mehr über den Data Quality Audit.

Uniserv Data Management Lösungen zur Datenintegration – analysieren, bereinigen, transformieren, zusammenführen

Die modularen Data Management-Lösungen von Uniserv helfen Ihnen dabei, Ihre Daten reibungslos in andere Systeme Ihrer IT-Infrastruktur zu überführen. Sie halten Ihre operativen Aktivitäten in Gang, bereiten analytische Auswertungen und Planungen vor und können dank optimierter Datenqualität Ihre neuen Applikationen schneller produktiv nutzen. Und Sie sind in der Lage, die Zeit- und Budgetvorgaben Ihres Datenintegrationsprojektes punktgenau einzuhalten.

Data Quality Explorer: Mit dem Data Profiling-Werkzeug DQ Explorer erkunden Sie den Ist-Zustand Ihrer Daten, vor der Überführung, insbesondere wenn die Dokumentation der Quellsysteme unzureichend ist. Daraus können Sie die Transformationsregeln für den Datenintegrationsprozess ableiten.

Data Integration Services: Die umfassende Lösung zur Batch- bzw. Real-Time-Übernahme von Daten aus unterschiedlichen Quellen, Transformation von Record-Strukturen und Feldinhalten und zur flexiblen Bereitstellung der Daten in beliebigem Format für die Zielsysteme

Data Quality Batch Suite: Die komplette Produkt-Suite zur Überprüfung, Bereinigung, Konsolidierung und Anreicherung von Daten

Data Quality Real-Time Services: Mit den DQ Real-Time Services sichern Sie die Qualität Ihrer Daten auch in solchen Datenintegrationsprozessen, welche die performante Qualitätssicherung einzelner Datensätze erfordern.

Profitieren Sie bei allen Uniserv Data Management Solutions zur Datenintegration u.a. von:

• umfassenden Analysen der bestehenden Daten und Datenstrukturen (Data Profiling)
• komfortablem Zugriff auf Quell- und Zielsysteme sowie schnell implementierbaren Transformationen von Record-Strukturen und Feldinhalten (Data Integration Services)
• sicherer und schneller Bereinigung von Fehlern, Dubletten sowie unzulässigen Feldeinträgen nach definierten Regeln und durch Abgleich gegen Referenzdaten (Data Cleansing)
• schneller Nutzung integrierter operativer und analytischer Systeme durch reibungslose Überführung und Zusammenführung von Daten aus unterschiedlichen Systemen in höchster Qualität