Peak BigODS Exporter verbindet ASAM ODS Stores mit Big Data Lakes

Weltweit werden viele Versuchsdaten auf Basis des ASAM ODS Standards gespeichert. Die Notwendigkeit, große Mengen dieser Daten zu analysieren, wird immer wichtiger. Gleichzeitig stehen in der Big-Data-Welt immer leistungsfähigere Analysetools zur Verfügung. Die „klassischen“ Speichermöglichkeiten des ASAM-ODS-Standards sind jedoch für diese Tools nicht gut geeignet. Aus diesem Grund hat ASAM reagiert und einen „Associate Standard“ für ODS spezifiziert, der bestehende ODS-Stores mit Big-Data-Ökosystemen verbindet. Der Standard wurde von ASAM im ersten Quartal 2020 veröffentlicht.

Peak Solution hat frühzeitig mit der Implementierung des neuen Standards begonnen. Die erste Version des sogenannten „Peak BigODS Exporter“ wurde Kunden bereits ab Mitte 2020 als Lizenzprodukt zur Verfügung gestellt.

Der Peak BigODS Exporter unterteilt ODS-Informationen in verschiedene Teile: „Metadaten“ umfassen alle Informationen zum Kontext eines Tests oder einer Berechnung. Das sind z.B. die genaue Beschreibung des Prüflings und der jeweilige Versuchsaufbau. „Massendaten“ stehen für alle Informationen zu Messkanälen oder Fahrzeugbusdaten. „Weitere Daten“ beziehen sich auf Ton-, Bild-, Video- oder Modellinformationen, die beim Export ebenfalls berücksichtigt werden.

„Metadaten“ werden für Big-Data-Analysetools verfügbar gemacht, indem sie in JSON- und Avro-Dateien exportiert werden. Das Lesen dieser Dateiformate wird von einer Vielzahl von Programmiersprachen und Big-Data-Analysetools unterstützt.

Da in vielen Fällen nicht alle Informationen aus einem klassischen ODS-Store in die Big-Data-Umgebung exportiert werden müssen, kann die relevante Teilmenge der Informationen in einer XML-basierten „Export Definition File“ spezifiziert werden. Diese Datei ermöglicht es auch, die Semantik der exportierten JSON/Avro-Daten zu verstehen und deren Inhalt richtig zu interpretieren.

Das Speicherformat für „Massendaten“ ist Parquet, wahlweise in zwei verschiedenen Schemata. Es ist ein Format, das für den spaltenbasierten Zugriff optimiert ist. In einigen Fällen kann Avro jedoch vorteilhafter sein. Daher wurde es als alternatives Format für das Speichern von Massendaten hinzugefügt. Es ist vor allem für einen zeilenbasierten Datenzugriff praktikabler.

Der Export von „Massendaten“ in Parquet oder Avro erfolgt auf Messebene. Wenn Messungen nur wenige Informationen enthalten, können mehrere davon in derselben Parquet- oder Avro-Datei zusammengefasst werden.

Je nach Verwendungszweck des Exports in die Big-Data-Umgebung und den anschließenden Analyseprozessen können innerhalb der Lösung mehrere „Export Definition File“ definiert werden. Welches in einem konkreten Fall verwendet werden soll, kann über die Konfigurationseinstellungen des Exportvorgangs ausgewählt werden.

Alles in allem können Unternehmen, die bestehende oder neue ODS-Datenbanken mit einem Big Data Lake verbinden möchten, dies einfach und standardisiert mit dem Peak BigODS Exporter tun.