Sie möchten also Big-Data-Tools in Ihr Unternehmen integrieren. Big-Data-Analysen verschaffen Ihnen einen Wettbewerbsvorteil, helfen Ihnen bei der Optimierung Ihrer Abläufe und verschaffen Ihnen einen umfassenderen Überblick über Ihr Unternehmen. Es ist jedoch nicht so einfach, mit den Fingern zu schnippen und Ihren Mitarbeitern zu sagen, dass sie BDA implementieren sollen. Die Integration von Big Data ist ein komplexer Prozess mit hohem Nutzen.
Es ist nicht so einfach, alle strukturierten Betriebsdaten eines Unternehmens in einem Lagerhaus zusammenzustellen. Vielmehr müssen Daten aus einer Vielzahl strukturierter, unstrukturierter oder halbstrukturierter Quellen extrahiert, miteinander kompatibel gemacht und dann in einem Warehouse oder Data Lake gespeichert werden, wo sie später abgerufen werden können.
Herausforderungen
Wie bei den meisten Diskussionen im Leben läuft auch die Integration von Big Data oft auf eine interne Debatte zwischen greifbaren Ressourcen und monetären Kosten hinaus. Viele der Herausforderungen, die sich im Big-Data-Prozess stellen, können durch einfaches Auslagern der Arbeitslast an ein Produkt oder eine Dienstleistung gelöst werden. Einige der größten Herausforderungen bei der Integration von Big Data sind:
- Die Suche nach qualifizierten und fähigen Big-Data-Ingenieuren und -Analysten, die Arbeitsabläufe entwickeln und umsetzbare Schlussfolgerungen aus dem Prozess ziehen.
- Sicherstellung der Genauigkeit, Qualität und Sicherheit der Daten.
- Hochskalierung der Datenverarbeitungsprozesse.
- Synchronisierung aller Datenquellen.
- Effektive und effiziente Datenspeicherung.
Es gibt vier Merkmale, die Big Data von „kleinen“ Daten unterscheiden: Volumen, Vielfalt, Geschwindigkeit und Wahrhaftigkeit. Jedes dieser vier V’s stellt eine besondere Herausforderung für die Datenintegration dar.
Umfang
Die Koordinierung großer Datenmengen ist für sich genommen schon eine Herausforderung. Um Big Data nutzen zu können, müssen Unternehmen umfangreiche Ressourcen für das Sammeln, Verarbeiten und Speichern von Daten bereitstellen, entweder physisch oder finanziell. Wenn Ihr Unternehmen nicht über ein umfangreiches Computernetzwerk verfügt, bieten Dienste wie Hadoop eine ausgelagerte Verarbeitung. Obwohl sie als eine der günstigsten Optionen für Big Data gelten, können einzelne Knoten immer noch 4.000 US-Dollar kosten.
Das summiert sich schnell, vor allem, wenn Ihr Unternehmen ständig Daten streamt und Echtzeit-Metriken verwendet. Abgesehen von den Kosten kann auch die Logistik des Umgangs mit all diesen Daten eine entmutigende Aufgabe sein.
Vielfalt
Die vielleicht wichtigste Komponente und folglich größte Herausforderung bei der Integration von Big Data ist die Arbeit mit einer Vielzahl von Daten.
Eine große Datenmenge ist zwar die oberflächliche Definition von Big Data, der wahre Wert ergibt sich jedoch aus komplexen, tiefgehenden Datensätzen. Multidimensionale Daten ermöglichen tiefere Einblicke als die oberflächliche Analyse größerer eindimensionaler Datensätze.
Die Nutzung mehrerer Quellen aus einzelnen Silos, nicht größerer Quellen, eine Idee, die MIT-Professor Michael Stonebraker als den „Long Tail“ von Big Data bezeichnet, ist die wichtigste Komponente.
Damit jedoch Tausende einzigartiger Datensätze mit unterschiedlichen oder gar keinen Schemata zusammenarbeiten können, sind fortschrittliche Analyseressourcen und -fähigkeiten sowie ausgefeilte Kenntnisse über deren Nutzung erforderlich.
Schnelligkeit
Wenn es Wochen dauert, Big Data zu verarbeiten und Erkenntnisse daraus zu gewinnen, sind die Chancen groß, dass die daraus gewonnenen Erkenntnisse bereits veraltet sind, wenn man sie in der Hand hält, wenn die ganze Arbeit getan ist.
Immer mehr Unternehmen verlassen sich auf Echtzeit-Analysen. Selbst diejenigen, die keine minutenaktuellen Informationen benötigen, wollen nicht Wochen oder Monate warten, um Maßnahmen zu ergreifen. Zusammen mit dem Volumen und der Vielfalt wird die Geschwindigkeit zu einer Herausforderung für die Integration.
Bei der Arbeit mit komplexen, großen Datensätzen ist es höchstwahrscheinlich unmöglich, einen einheitlichen Analyseprozess auf alle Daten anzuwenden. Da eine gewisse Individualisierung erforderlich ist, verlangsamt sich die Aufgabe erheblich. Big-Data-Integrationstools wie Alteryx und Essbase ermöglichen einen Lastausgleich und eine verteilte Datenverarbeitung, so dass verschiedene Komponenten des Datensatzes gleichzeitig analysiert werden können, was die Geschwindigkeit erhöht. Aber auch dafür muss man mehr Geld ausgeben.
Veracity
Laut einer Umfrage von Forrester Consulting im Jahr 2019 haben nur 38 % der Führungskräfte Vertrauen in die Kundenkenntnisse ihrer Mitarbeiter, und 34 % haben Vertrauen in die Erkenntnisse über die Geschäftsabläufe. Das liegt daran, dass die Validierung von Genauigkeit und Relevanz eine große Herausforderung in der Analytik darstellt, insbesondere bei Big Data.
