Bedarf und Notwendigkeit einer schnellen Analyse extrem großer Datenmengen
Immer häufiger entsteht bei großen Unternehmen die Notwendigkeit der Verarbeitung extrem
großer Datenmengen unabhängig von deren Rechenzentrum. Diese Notwendigkeit ergibt sich
aus Aufgaben, die das Rechenzentrum aufgrund des normalen Betriebs nicht als zusätzliche Last
bearbeiten kann.
Typische Szenarien sind hierbei Datenqualitäts- und Integritätsprüfungen, Datenübernahme
im Zusammenhang mit Mergers & Acquisitions, Migration auf andere oder neue
Datenverarbeitungssysteme und ähnliches.
Die von der Firma Palatina Software Systems GmbH (PSS) entwickelte neue Technologie
erlaubt es auf Basisvon Personal Computern diese Aufgaben in bisher nicht vorstellbarer Leistung
zu bewältigen. Hierbei werden sämtliche verfügbare Daten unabhängig von deren Größe verarbeitet
und nicht nur einer Stichprobe.
Ein typisches Szenario ist die Übernahme von großen Datenmengen von einem Alt- in ein
Neusystem, wie es im folgenden Beispiel durchgeführt wurde. Hierbei kam der PSS Data Inspector
zum Einsatz. Sieben Millionen Finanztransaktionsdatensätze mit jeweils mehr als 100 Ausprägungen
sollen nach einer Migration auf Datenidentität überprüft werden. Der PSS Data Inspector erledigt diese
Aufgabe auf herkömmlicher PC-Hardware unabhängig der Datenbankserver in unter zehn Minuten.
Dies entspricht einer Vergleichsrate von zirka 30.000 voll beschriebenen A4-Textseiten pro Sekunde.
Durch diese enorme Geschwindigkeit kann jeder einzelne Schritt eines Migrationsprozesses wie in
folgendem Schema dargestellt jederzeit überwacht werden.