• Test Data Management

    Holen Sie mehr Informationen aus Ihren Versuchsdaten heraus!

PEAK ODS-ADAPTER FÜR APACHE SPARK

Ihre technischen Daten – bereit für skalierbare Analysen.

Nutzen Sie das Potenzial von Messdaten, die bereits in ASAM ODS verwaltet werden. Binden Sie diese an Apache Spark, Notebooks, unternehmensweite Analyseplattformen und Big-Data-Lakes an – ganz ohne die Notwendigkeit, Ihre bestehende Datenbasis für technische Daten neu aufzubauen.

  

Offene Standars   ·   Spark SQL & DataFrames  ·  Parquet / Avro / JSON  ·  Skalierung nach Bedarf


VON TECHNISCHEN DATEN ZU ANALYTISCHEM  MEHRWERT

Schluss mit der wiederholten Neuentwicklung von Datenintegrationen für jede neue Analyse.

Technische Daten sind oft sehr aussagekräftig, lassen sich jedoch außerhalb ihrer ursprünglichen Entwicklungsumgebung nur schwer nutzen. Der Peak ODS Adapter für Apache Spark verbindet domänenspezifisches ASAM ODS-Datenmanagement mit bewährten, skalierbaren Datentechnologien.

↔

Nutzen Sie Ihre Datenbasis wieder

Greifen Sie auf Messwerte und Metadaten aus bestehenden ODS-Umgebungen zu, anstatt ein weiteres, paralleles technisches Repository zu erstellen.

⌕

Direkter Zugriff auf relevante Daten

Nutzen Sie Spark SQL und DataFrames, um die für die jeweilige Analyse benötigten technischen Daten auszuwählen und zu verarbeiten.

▥

Skalierung je nach Bedarf

Entwickeln Sie sich von lokaler Datenanalyse hin zu verteilter Verarbeitung – mit entsprechend konfigurierten Spark-Ressourcen und -Lizenzen.


◇

Big-Data-Ökosysteme vernetzen

Definierte Datenauswahlen in standardkonformen Formaten exportieren, die sich in bestehende Data-Lake- und Analyse-Workflows einfügen.

EINE GRUNDLAGE FÜR TECHNISCHE DATEN  · ZWEI INTEGRATIONSWEGE

Greifen Sie direkt auf Daten zu – oder bereiten Sie diese für einen Data Lake auf.

Wählen Sie das Integrationsmuster, das zu Ihrem Arbeitsaufwand passt. Beide Wege basieren auf denselben, klar definierten ASAM ODS-Messdaten.

Pfad 01 · Live-integration

Direkter Zugriff für Spark-Analysen

Fragen Sie ODS-Instanzdaten und Messwerte mithilfe von Spark SQL und DataFrames ab. Arbeiten Sie in Python, Jupyter oder anderen Spark-basierten Anwendungen mit ausgewählten Signalen – bei Bedarf unter Nutzung skalierbarer Ressourcen.

  • Interaktive und reproduzierbare explorative Analyse
  • Selektiver Zugriff auf Messdatensätze
  • Notebook-basierte Zusammenarbeit und nachgelagerte Datenverarbeitung
Pfad 02 · Standardisierter export

BigODS-Exporter für Data Lakes

Aufbereitung ausgewählter technischer Daten in Form von Dateien, die für die jeweilige Big-Data-Zielumgebung optimiert sind. Der BigODS-Exporter ist Bestandteil des Peak ODS-Adapters für Apache Spark – es handelt sich nicht um eine eigenständige Plattform.

  • Konfigurierbare Exportdefinitionen
  • Metadaten und Instanzdaten im JSON- oder Avro-Format
  • Messdaten (Massendaten) im Parquet-Format; optional mit zugehörigen Inhalten

INTEGRIERTE KOMPONENTE  · PEAK BIS ODS EXPORTER

Übertragen Sie die richtigen Daten in den Data Lake – nicht einfach jede beliebige Datei.

Für unternehmensweite Analysen ist es oft nicht erforderlich, komplette Testkampagnen zu kopieren. Mit dem integrierten „BigODS Exporter“ können Teams gezielt festlegen, welche Daten exportiert werden sollen. Dabei bleibt der technische Kontext erhalten, und Analyseumgebungen werden mit strukturierten Datensätzen versorgt.

01

Relevante Daten auswählen

Verwenden Sie XML-basierte Exportdefinitionsdateien, um die für eine bestimmte Arbeitslast (Workload) benötigte Teilmenge der ODS-Daten zu definieren.

02

Bedeutung bewahren

Integrieren Sie technische Metadaten und Zusammenhänge direkt neben den Messwerten – bei Bedarf ergänzt durch weitere Dateien wie Medien oder Dokumente.

03

Analysebereite Formate bereitstellen

Exportieren Sie Metadaten und Instanzdaten im JSON- oder Avro-Format sowie große Mengen an Messdaten im Parquet-Format – optimal vorbereitet für die nachgelagerte Verarbeitung.

Apache ParquetApache AvroJSONASAM ODS Big Data Connector

  


WO TEAMS ES IN DIE PRAXIS UMSETZEN

Von fachspezifischen Tests bis hin zu unternehmensweiten Analysen.

∿

Übergreifende Datenexploration

Analyse ausgewählter Zeitreihenkanäle sowie technischer Metadaten aus bestehenden ASAM-ODS-Repositories mittels SQL, Python und Notebooks.

▦

Unternehmensdatenplattformen

Verknüpfen Sie eine verlässliche technische Datenbasis mit Spark-basierten Unternehmensanalysen, ohne dabei grundlegende TDM-Funktionalitäten zu duplizieren.

⇢

Data-Lake-Integration

Exportieren Sie zweckbestimmte ODS-Datensätze in offene Big-Data-Formate, um sie für umfassendere Data-Engineering- und Analysezwecke nutzbar zu machen.

ANWENDUNGSBEISPIEL · GLOBALER AUTOMOBILHERSTELLER

PeakTDM trifft auf Databricks: Eine Plattform für technische Daten, konzipiert für die Wiederverwendung.

Im Rahmen einer globalen Implementierung in der Automobilindustrie stellt der Peak Test Data Manager (PeakTDM) eine auf dem ASAM ODS-Standard basierende, domänenübergreifende Datenbasis für technische Daten bereit. Der Peak ODS-Adapter für Apache Spark verbindet diese Datenbasis mit Databricks und ermöglicht so eine skalierbare unternehmensweite Datenverarbeitung und -analyse.

EBENE 3 · ANALYTICS & KIDatabricks

Skalierbare Unternehmensanalysen, Spark-basierte Datenverarbeitung sowie Möglichkeiten zur Entwicklung von KI-Lösungen.

↕
EBENE 2 · DATENINTEGRATIONPeak ODS Adapter fÜr Apache Spark

Wiederverwendbarer Zugriff auf ASAM ODS-Metadaten und Messdaten mittels Spark SQL und DataFrames.

↕
ebene 1 ·BASIS FÜR ENTWICKLUNGSDATENPeak Test Data Manager · ASAM ODS

Domänenspezifische Metadatenmodelle, Erfassung von Testdaten, Validierung sowie kontrollierter Zugriff über verschiedene Entwicklungsdisziplinen hinweg.

Anstatt für jede neue Analyseinitiative die Datenaufnahme, das Metadatenmanagement und die Integration von Engineering-Tools jeweils neu aufzubauen, setzt der Kunde auf eine wiederverwendbare Datenbasis mit einer dedizierten Integrationsschicht.

Bei der Integration handelt es sich um eine konkret umgesetzte Kundenarchitektur. Beispiele wie Anomalieerkennung, prädiktives Engineering und KI-Assistenten stellen mögliche zukünftige Anwendungen dar – sie sind keine zugesicherten oder bereits erbrachten Projektergebnisse.

ANTWORTEN VOR DEM  START

Häufige Fragen

Müssen alle Messdaten in eine neue Plattform übertragen werden?

Nein. Ein direkter Spark-Zugriff kann in Verbindung mit der bestehenden ODS-Dateninfrastruktur genutzt werden. Für Data-Lake-Anwendungsfälle ermöglicht der „BigODS Exporter“ den Export ausgewählter Datensätze, wodurch eine unselektive Datenvervielfältigung vermieden wird. Die konkrete Umsetzung hängt vom Speicherzugriff sowie der Architektur des Kunden ab.

Ist der Peak BigODS Exporter im Spark-Adapter enthalten?

Ja. Der Peak BigODS Exporter ist ein funktionaler Bestandteil des Peak ODS-Adapters für Apache Spark und implementiert den Exportansatz des ASAM ODS Big Data Connectors.

Können wir eine Verbindung zu Databricks herstellen?

Ja. PeakTDM wurde bereits im Rahmen einer Architektur für einen globalen Automobilkunden mittels des „Peak ODS Adapter for Apache Spark“ in Databricks integriert. Die konkrete Konfiguration in Bezug auf Spark, Netzwerk, Authentifizierung und Bereitstellung hängt vom jeweiligen Projekt ab.

Funktioniert das nur mit Testdaten aus der Automobilindustrie?

Nein. Der Adapter arbeitet mit ASAM-ODS-Daten. Seine Anwendbarkeit hängt vom verfügbaren ODS-Datenmodell und den Anforderungen Ihrer Tests oder Simulationen ab.

Können wir ohne einen großen Spark-Cluster beginnen?

Ja. Die Lösung kann mit lokalen Spark-Ressourcen genutzt und bei Bedarf auf leistungsfähigere Cluster skaliert werden, vorbehaltlich Lizenz- und Infrastrukturvorgaben.

Sind Sie bereit, mehr Wert aus Ihren ODS-Daten zu erschließen?

Erzählen Sie uns von Ihrer aktuellen Dateninfrastruktur und Ihren Analyse-Zielen. Wir ermitteln gemeinsam den am besten geeigneten Integrationsweg – sei es durch direkten Spark-Zugriff, konfigurierbare Data-Lake-Exporte oder eine Kombination aus beidem.

Besprechen Sie Ihre Anforderungen ↗

Verbundene Lösungen

Eine einzige Datengrundlage. Vernetzte Engineering-Workflows.

Entdecken Sie die Komponenten und Technologien, die Sie beim Aufbau einer vollständigen, auf Standards basierenden Testdatenumgebung unterstützen.

Erkenntnisse & praktisches Wissen

Mehr zu diesem Thema erfahren

Entdecken Sie weiterführende Artikel, praxisnahe Einblicke und zusätzliche Lösungen, um tiefer in dieses Thema einzutauchen. Erfahren Sie mehr über relevante Technologien, konkrete Anwendungsbeispiele und den Nutzen, den diese für Ihr Unternehmen bieten können.