Abo  ut

Peak Spark ODS Adapter: Gewinnen Sie mehr Informationen aus ASAM ODS Messungen

Ein weit verbreiteter Standard für die persistente Speicherung von Testdaten ist ASAM ODS. Automobilhersteller und Zulieferer nutzen es vor allem, um übergreifende Testdatenmanagement-Lösungen für unterschiedliche Messsysteme und Datenformate aufzubauen. Auf diese Weise machen sie Testdaten unabhängig von den Tools einzelner Anbieter langfristig nutzbar. Um mehr Informationen aus den bestehenden Messungen zu gewinnen, hat Peak Solution den Peak Spark ODS Adapter entwickelt.


Die Lösung ermöglicht dem Anwender den direkten Zugriff auf die Massendaten von ASAM ODS (= externe Komponenten). Nach Auswahl eines Satzes von Messkanälen, z.B. über den Peak Test Data Workplace kann er darauf beliebig komplexe Abfragen ausführen. Die Lösung gibt das Abfrageergebnis als Liste an den Benutzer zurück. Diese Liste kann er entweder zwischenspeichern oder als csv-Datei exportieren, z.B. um Algorithmen und statistische Methoden zur Erkennung von Mustern, Beziehungen und Clustern anzuwenden. 



Die Implementierung des Adapters basiert auf Apache Spark. Dadurch ist es möglich, komplexe Datenabfragen und Analysen großer Datenmengen mit hoher Geschwindigkeit durchzuführen. Peak Solution hat ein spezielles Plug-In entwickelt, das die ODS-Datenstruktur der Messkanäle als sogenannte RDDs (Resilient Distributed Datasets) bereitstellt. Daraus erstellt die Anwendung dann temporäre Tabellen (=Datenrahmen), auf denen die genannten Algorithmen und Methoden benutzerfreundlich ausgeführt werden können.


Zur interaktiven Analyse der Messkanäle kann der Anwender webbasierte Notebooks wie Apache Zeppelin oder Jupyter nutzen. Die große Stärke dieses Tools sind explorative Auswertungen (= Data Mining). So kann sich der Anwender zunächst einen Überblick über die Daten verschaffen und sich dann schrittweise seinem Analyseziel nähern. Er kann Zwischenergebnisse leicht visualisieren und teilen. Dazu muss der Nutzer lediglich sein „Notebook“ als Webseite freigeben. Berechtigte Personen können es dann einsehen und weiterverwenden.


Ein wichtiger Vorteil des Peak Spark ODS Adapters ist seine Skalierbarkeit: Weder Spark noch Zeppelin benötigen ein Hadoop Eco-System. Dadurch können Unternehmen die Lösung ohne große IT-Investitionen innerhalb ihrer bestehenden ODS-Infrastruktur einsetzen, bevor sie sie nach und nach zu einem leistungsstarken Big-Data-Cluster zur Verwaltung und Analyse riesiger Testdatenmengen aufbauen. Nach dem Motto: Klein anfangen, groß denken.