Schnelle Analyse und Visualisierung von hochdimensionalen Daten
Wenn mehrere Messgeräte und Sensoren große Mengen an Daten liefern, die zusammengeführt und analysiert werden sollen, empfiehlt es sich zuerst geeignete Datenstrukturen und ein geeignetes Dateiformat auszuwählen oder neu zu definieren.
Um Zusammenhänge in den Daten zu finden oder Muster zu erkennen kann es zunächst sinnvoll sein, die Daten visuell zu explorieren und beim Betrachten ein Gefühl für sie zu bekommen. Mit verschiedenen Farben und verschiedenen Größen der Datenpunkte, dreidimensionalen Bildern, die sich zeitlich verändern, und zusätzlichen Tricks lassen sich auch sechs und mehr Dimensionen auf dem Bildschirm darstellen.
Dimensionsreduktion
Solcherlei Visualisierungen eignen sich allerdings nicht für jede Art von Daten und sind auch nicht immer leicht zu verstehen. Parametrisierungen oder eine Dimensionsreduktion der Daten können helfen die Daten ohne signifikanten Informationsverlust zu vereinfachen. Der vereinfachte Datensatz kann danach erneut exploriert werden.
Clustering und Klassifikation
Um aus den Daten auf Zugehörigkeit zu bestimmten Klassen zu schließen, können z.B. Clustering Algorithmen verwendet werden. Sind Trainingsdaten vorhanden, können auch Machine Learning Algorithmen verwendet werden.
Kontakt
Für Beratung bei Big Data Projekten, Entwickeln individueller Lösungen und generellen Anfragen steht 256.systems zur Verfügung.