Miteinander vernetzte, intelligente Systeme (TMS/ERP Systeme, Maschinen- und Sensordaten (IoT), Geodaten …) produzieren täglich große Mengen Daten. Viele dieser Daten kann man getrost als Datenfriedhof bezeichnen. (Motto: Daten, Informationen und Wissen)
Das grundsätzliche Problem hierbei ist, dass die Überführung der schieren Unmengen an Daten in brauchbare Informationen und daraus resultierenden Wissen nur dann bewerkstelligt werden kann, wenn die Datenverarbeitung als durchdachter und verzahnter Prozesse konzipiert wurde.
Beispiel logistischer Daten:
- Im TMS/ERP Systeme werden die relevanten Sendungsdaten (Absender, Empfänger, Beladedatum/Beladezeit, Entladedatum/Entladezeit, Positionsdaten, NVEs, kaufmännische Informationen etc.) erfasst.
- Über die Datenschnittstelle der LKWs werden laufend Daten z.B.: Spritverbruch, KM-Stand, Achsenlast, Geschwindigkeit, Temperatur etc.) zurückgemeldet.
- Das Navigationssystem bzw. der Zustellscanner liefert: GPS-Positionen, Statuswerte, Datums- und Zeitwerte etc.
Bei richtiger Kenntnis der Prozesse im Unternehmen, verzahnte Datenquellen und effizienten Transformationen werden sämtlich vorhandene TMS/ERP Daten, Maschinen- und Sensordaten (IoT), Geodaten zusammengeführt. Diese Zusammenführung der Daten ermöglicht erst eine tragfähige prädiktive Analyse der „Big Data“ zu erreichen.
Aber Achtung: Bevor sich ein Unternehmen kopfüber in das Abenteuer ETL und Big Data stürzen, muss Folgendes beachtet werden:
- Was nicht erfasst oder generiert wird, kann auch nicht ausgewertet werden. Bei der Konzeption einer prädiktiven Analyse stellen Unternehmen häufig fest, dass zentrale Informationen, die für eine sinnvolle und nutzbringende Bewertung Voraussetzung sind, nicht erfasst werden. In diesem Fall müssen die TMS/ERP System und/oder GIS-Systeme zunächst um Erfassungs- und Eingabefelder erweitert werden und/oder mit Hilfe der ETL-Prozesse nachträglich um die erforderlichen Informationen angereichert werden.
- Kennen Sie den Spruch „Shit In Shit Out“? Wer falsche oder unvollständige Daten erfasst, erhält in der Auswertung auch nur falsche oder unvollständige Ergebnisse. An diesem Punkt scheitert jeglicher Big Data-Prozess und jegliche Business Intelligence. Aus dem vermeintlichen Datenschatz wird eine Datenmüllhalde.
- ETL- und prädiktive Analyse Tools sind keine Erfassungssysteme. Sie dienen ausschließlich der Auswertung, Aufbereitung und Darstellung von Daten.
Meine Empfehlung: Planen Sie das Thema ETL – Big Data genau und fangen Sie klein an. Mit einer guten Planung ist schon halb gewonnen.