Bachelorarbeit
Bachelorarbeit (DE)
Unsicherheitsanalyse für maschinelle Lern-Surrogatmodelle in der szenariobasierten Validierung autonomer Systeme
Bachelorarbeit (EN)
Uncertainty Analysis for ML-based Surrogate Models for the Validation of Autonomous Systems
Zeitraum: 05/2025 – 08/2025
Status: Veröffentlichung ausstehend
Themengebiete
Unsicherheitsquantifizierung, autonome Systeme, sicherheitskritisches maschinelles Lernen
Hintergrund
In der deutschen Nordsee lagern schätzungsweise 1,6 Millionen Tonnen Munition aus dem Zweiten Weltkrieg. Autonome Unterwasserfahrzeuge (AUVs) werden entwickelt, um diese Munition aufzuspüren. Vor ihrem Einsatz muss ihr Verhalten jedoch zuverlässig validiert werden. Dafür kommen komplexe automatisierte Modelle zum Einsatz, darunter Surrogatmodelle auf Basis maschinellen Lernens.
Meine Bachelorarbeit untersucht, wie sich die Unsicherheit solcher Surrogatmodelle im Projekt VaMAI quantifizieren und kontrollieren lässt.
Zusammenfassung der Bachelorarbeit
Die Bachelorarbeit „Uncertainties in machine learning-based surrogate models for the scenario-based validation of autonomous systems“ (Universität Bremen, Institut für Automatisierungstechnik, 2025) untersucht im Kontext des Projekts VaMAI – Validation of Maritime AI (07/2023–06/2026) die Quantifizierung, Trennung und Kontrolle aleatorischer und epistemischer Unsicherheiten in ML-basierten Surrogatmodellen zur Validierung autonomer Unterwasserfahrzeuge (AUVs).
Aufbauend auf einer systematischen Literaturrecherche zu Evidential Deep Learning, Bayesianischen neuronalen Netzen, Conformal Prediction und Evidential Neural Networks werden verschiedene Verfahren zur Unsicherheitsquantifizierung in Sensitivitätsanalysen miteinander verglichen.
Für die Bayesianischen neuronalen Netze werden Hamiltonian Monte Carlo (HMC) und Stochastic Variational Inference (SVI) mit Pyro betrachtet. Die Evidential Neural Networks basieren auf Deep Evidential Regression, dessen UCI-Benchmarks erfolgreich reproduziert wurden.
Die Verfahren werden anhand von Kennzahlen wie RMSE, Expected Calibration Error (ECE), Coverage und einem gewichteten Vergleichsscore bewertet.
Im Rahmen der Implementierung wird das Evidential Neural Network in ein Softwarepaket für Criticality Spaces integriert. Anhand synthetischer, regelungstechnischer Signale – darunter eine Gaußfunktion und ein Hyperwürfel mit Rauschfunktion – wird gezeigt, wie sich Unter- und Überschätzungen der Gesamtunsicherheit gezielt kontrollieren lassen.
Dazu entwickle ich eine kritikalitätsabhängige Erweiterung der Verlustfunktion. Sie kombiniert einen Begrenzungsterm mit Lipschitz-beschränktem quadratischem Anteil, wie von Oh und Shin vorgeschlagen, mit einer zusätzlichen Begrenzung der Varianzen auf ein toleriertes, kritikalitätsabhängiges Intervall. Ergänzend wird ein Operator für eine „Zero-Evidence Region“ auf Basis von Jøsangs Subjective Logic implementiert, um fehlende Evidenz und damit verbundene Modellunkenntnis explizit zu kennzeichnen.
Das zentrale Ergebnis ist ein Ansatz zur Meta-Unsicherheit: Mithilfe der Jensen-Shannon-Divergenz zwischen den Unsicherheitsverteilungen verschiedener Modellarchitekturen lässt sich die Zuverlässigkeit unterschiedlicher Surrogatmodelle vergleichbar bewerten. Damit entsteht eine methodische Grundlage für die Auswahl und Validierung ML-basierter Surrogatmodelle in sicherheitskritischen autonomen Systemen.
Eigene Beiträge
- Reproduktion der UCI-Benchmarks von Deep Evidential Regression als verifizierte Referenz für die weiteren Experimente.
- Systematischer Vergleich von vier Ansätzen zur Unsicherheitsquantifizierung, darunter Bayesianische neuronale Netze (HMC/SVI mit Pyro), Conformal Prediction und Evidential Neural Networks. Die Bewertung erfolgt anhand von RMSE, Kalibrierung (ECE), Coverage und einem gewichteten Vergleichsscore.
- Integration des Evidential Neural Network in ein Softwarepaket für Criticality Spaces. An synthetischen regelungstechnischen Signalen wird demonstriert, wie sich Unter- und Überschätzungen der Gesamtunsicherheit gezielt kontrollieren lassen.
- Entwicklung einer kritikalitätsabhängigen Erweiterung der Verlustfunktion mit einem Lipschitz-beschränkten quadratischen Begrenzungsterm und einer Varianzbeschränkung, die die Unsicherheit innerhalb eines tolerierten kritikalitätsabhängigen Intervalls hält.
- Implementierung eines Operators für eine „Zero-Evidence Region“ auf Basis von Jøsangs Subjective Logic, um fehlende Evidenz und Modellunkenntnis explizit zu markieren.
Zentrale Ergebnisse
- Eine Erweiterung der Verlustfunktion, mit der Sicherheitsexperten die Unsicherheit von Surrogatmodellen gezielt an tolerierte kritikalitätsabhängige Grenzen anpassen können, anstatt sie lediglich zu messen.
- Ein Ansatz zur Meta-Unsicherheit, der die Jensen-Shannon-Divergenz zwischen den Unsicherheitsverteilungen verschiedener Modellarchitekturen nutzt, um die Zuverlässigkeit von Surrogatmodellen vergleichbar zu machen. Dies schafft eine methodische Grundlage für die Entscheidung, welchen Surrogatmodellen bei der Validierung sicherheitskritischer autonomer Systeme vertraut werden kann.
Bachelorarbeit lesen
Die vollständige Methodik, die Literaturübersicht und sämtliche Experimente sind in der Bachelorarbeit dokumentiert.