Was ist Datenabgleich? Definition, Prozess, Werkzeuge

Was ist Datenabgleich?

Unter Datenabgleich (DR) versteht man einen Prozess zur Überprüfung von Daten während der Datenmigration. Dabei werden Zieldaten mit Quelldaten verglichen, um sicherzustellen, dass die Migrationsarchitektur Daten überträgt. Unter Datenvalidierung und -abgleich (DVR) versteht man eine Technologie, die mathematische Modelle zur Verarbeitung von Informationen verwendet.

Warum ist der Datenabgleich wichtig?

Bei der Datenmigration können Fehler in der Mapping- und Transformationslogik passieren. Probleme wie Laufzeitfehler wie Netzwerkausfälle oder fehlerhafte Transaktionen können Daten beschädigen.

Fehler dieser Art können dazu führen, dass Daten in einem ungültigen Zustand verbleiben. Dies kann zu einer Reihe von Problemen führen, wie zum Beispiel:

• Fehlende Aufzeichnungen
• Fehlende Werte
• Falsche Werte
• Doppelte Datensätze
• Schlecht formatierte Werte
• Unterbrochene Beziehungen zwischen Tabellen oder Systemen

Hier sind wichtige Gründe für die Verwendung des Datenabgleichsprozesses:

• Der Einsatz von Data Reconciliation hilft Ihnen dabei, aus rohen Messdaten genaue und zuverlässige Informationen über den Stand des Industrieprozesses zu extrahieren.
• Darüber hinaus hilft es Ihnen, einen einzigen konsistenten Datensatz zu erstellen, der den wahrscheinlichsten Prozessvorgang darstellt.
• Dies führt auch zu ungenauen Erkenntnissen und Problemen mit dem Kundenservice.
• Der Datenabgleich ist auch für die Integration der Unternehmenssteuerung wichtig.

Abgesehen von den oben genannten Vorteilen bietet der Datenabgleich noch viele weitere Vorteile.

Terminologie im Zusammenhang mit dem Datenabgleich

Geschichte des Datenabgleichs

Hier sind wesentliche Meilensteine ​​aus der Geschichte des Datenabgleichs aufgeführt.

• DVR (Data Validation and Reconciliation) begann in den frühen 1960er Jahren. Ziel war es, Materialbilanzen in der Produktion zu schließen, bei denen Rohdaten für alle Variablen verfügbar waren.
• In den späten 1960er Jahren wurden alle nicht gemessenen Variablen im Datenabgleichsprozess berücksichtigt.
• Die quasistationäre Dynamik für Filterung und parallele Parameterschätzung über die Zeit wurde 1977 von Stanley und Mah eingeführt.
• Dynamic DVR wurde als nichtlineares Optimierungsmodell entwickelt, das 1992 von Liebman herausgegeben wurde

Datenabgleichsprozess

Arten von Datenabgleichsmethoden sind:

Stammdatenabgleich

Beim Stammdatenabgleich handelt es sich um eine Technik, bei der nur die Stammdaten zwischen Quelle und Ziel abgeglichen werden. Stammdaten sind meist unveränderlich oder verändern sich nur langsam, und es wird kein Aggregationsvorgang für den Datensatz durchgeführt.

Einige gängige Beispiele für den Stammdatenabgleich sind:

• Gesamtzahl der Zeilen
• Gesamtkunde in Quelle und Ziel
• Gesamtzahl der Elemente in Quelle und Ziel
• Gesamtzahl der Zeilen basierend auf der gegebenen Bedingung
• Anzahl der aktiven Benutzer
• Anzahl inaktiver Benutzer usw.

Genauigkeit der Aktivität

• Sie müssen sicherstellen, dass die Transaktionen gültig sind und ihrem Zweck entsprechen.
• Es muss überprüft werden, ob die Transaktionen ordnungsgemäß autorisiert wurden.

Abgleich von Transaktionsdaten

Transaktionsdaten bilden die Grundlage für BI-Berichte. Daher kann jede Diskrepanz in den Transaktionsdaten direkte Auswirkungen auf die Zuverlässigkeit des Berichts und des gesamten BI-Systems im Allgemeinen haben.

Die Transaktionsdatenabgleichsmethode wird in Bezug auf die Gesamtsumme verwendet, um Abweichungen zu vermeiden, die durch eine Änderung der Granularität der qualifizierenden Dimensionen verursacht werden.

Beispiele für Maßnahmen zum Transaktionsdatenabgleich sollten sein:

1. Summe des Gesamteinkommens berechnet aus Quelle und Ziel
2. Summe des gesamten verkauften Artikels, berechnet aus Quelle und Ziel usw.

Automatisierter Datenabgleich

In großen Data Warehouse-Verwaltungssystemen ist es praktisch, den Datenabgleichsprozess zu automatisieren, indem man ihn zu einem integralen Bestandteil des Datenladens macht. So können Sie separate Tabellen mit Lademetadaten verwalten. Darüber hinaus werden durch den automatisierten Abgleich alle Beteiligten über die Gültigkeit der Berichte informiert.

Best Practices für die Verwendung von Datenabgleich

• Der Datenabgleichsprozess sollte auf korrekte Messfehler abzielen.
• Die groben Fehler sollten Null sein, um den Datenabgleichsprozess effizient zu gestalten.
• Der Standardansatz des Datenabgleichs basiert auf einfachen Datensatzzählungen, um zu verfolgen, ob die angestrebte Anzahl von Datensätzen migriert wurde oder nicht.
• Die Datenmigrationslösung bietet ähnliche Abgleichsfunktionen und Daten-Prototyping-Funktionalität, die umfassende Datenabgleichstests ermöglicht.

Datenabgleichstools

1) ÖffnenVerfeinern

OpenRefine, früher als Google Refine bekannt, ist ein nützliches Framework für den Datenbankabgleich. Es ermöglicht Ihnen, unordentliche Daten zu bereinigen und zu übertragen.

Download-Link: https://openrefine.org/

2) TIBCO Klarheit

Dieses Datenabgleichstool bietet On-Demand-Softwaredienste aus dem Internet in Form von Software-as-a-Service. Es ermöglicht Benutzern, die Daten zu validieren und Daten zu bereinigen. Es bietet umfassende Abstimmungstestfunktionen. Wird häufig im ETL-Prozess verwendet.

Download Link: https://www.tibco.com/

3) Winpure

Winpure ist eine kostengünstige und genaue Datenbereinigungssoftware. Es ermöglicht Ihnen, große Datenmengen zu bereinigen, Duplikate zu entfernen, zu korrigieren und zu standardisieren, um den endgültigen Datensatz zu entwerfen.

Download Link: https://winpure.com/

Zusammenfassung

• Datenvalidierung und -abgleich (DVR) ist eine Technologie, die mathematische Modelle zur Verarbeitung von Informationen verwendet.
• Mithilfe des Datenabgleichs können Sie aus rohen Messdaten genaue und zuverlässige Informationen über den Zustand des Industrieprozesses extrahieren.
• Grobfehler, Beobachtbarkeit, Varianz und Redundanz sind wichtige Begriffe, die im Datenabgleichsprozess verwendet werden
• Datenvalidierung und -abgleich begannen in den frühen 1960er Jahren.
• Drei Arten von Datenabgleichsmethoden sind 1) Stammdatenabgleich, 2) Transaktionsdatenabgleich und 3) Automatisierter Datenabgleich
• Die groben Fehler sollten Null sein, um den Datenabgleichsprozess effizient zu gestalten.
• Einige wichtige Datenabgleichstools sind: 1) OpenRefine 2) TIBCO 3) Winpure
• Diese Methode wird häufig zur Leistungs- und Prozessüberwachung in der Ölraffinerie-, Nuklear- und Chemieindustrie eingesetzt