Aktuelle Methoden zur Analyse und Validierung neuronaler Netzwerke entstammen vor allem der wissenschaftlichen Forschung. Branchenübliche Anforderungen an die funktionale Sicherheit werden dabei oftmals nicht berücksichtigt. So fordern etwa die ISO26262 und ISO/PAS21448 von den Automobilherstellern ein deutlich umfassenderes Wissen über die konkrete Funktionsweise und die Entscheidungspfade neuronaler Netzwerke, als dies im wissenschaftlichen Diskurs bisher besprochen wird. „Um Präzisionsprobleme bei der Objekterkennung durch Convolutional Neuronal Networks (CNN) besser zu verstehen, haben wir daher eine Software entwickelt, mit der eine standardisierte Validierung möglich ist“, berichtet Václav Diviš, Senior Engineer ADAS & Autonomous Driving bei ARRK Engineering. „Bei der Entwicklung dieses Visualisierungs-Tools legten wir die Grundlage einer neuen Bewertungsmethode: die sogenannte Neurons‘ Criticality Analysis (NCA).“ Aufgrund dieses Prinzips lässt sich eine zuverlässige Aussage darüber abgeben, wie wichtig oder schädlich einzelne Neuronen für eine korrekte Objekterkennung sind.
Komplexes Zusammenspiel
Das Zusammenspiel der einzelnen Neuronen in den zahlreichen Schichten eines CNN ist komplex. Jede Schicht und jedes Neuron übernehmen darin besondere Aufgaben bei der Erkennung eines Objekts – beispielsweise ein grobes Aussortieren nach Formen oder das Filtern bestimmter Farben. Jeder Arbeitsschritt trägt aber in unterschiedlichem Ausmaß zum Erfolg einer Objekterkennung bei und kann das Ergebnis sogar verschlechtern. Diese Komplexität führt dazu, dass die Wichtigkeit einzelner Neuronen für die Entscheidung bisher undurchschaubar war. Daher hat ARRK für sein neues Tool eine Grafik-Oberfläche zur Visualisierung dieser Pfade entwickelt. „Auf diese Weise lässt sich die Entscheidungsfindung eines CNN optisch darstellen“, so Diviš. „Außerdem kann die Relevanz bestimmter Schritte für die finale Entscheidung erhöht, verringert oder sogar ganz ausgeschaltet werden. In Echtzeit ermittelt das Tool nach jeder erfolgten Anpassung unmittelbar die Auswirkung dieser geänderten Parameter. Somit kann die Wichtigkeit bestimmter Neuronen und deren Aufgabe leichter erkannt und nachvollzogen werden.“ Das Streaming der Daten kann jederzeit pausiert werden, um eine Analyse vorzunehmen. Dabei können auch einzelne Elemente genauer untersucht werden.
Zugriff über OpenGL
Für dieses visuelle Backend wählte der Engineering-Dienstleister die plattformübergreifende Programmierschnittstelle OpenGL. Dadurch ist die Software auf jedem Gerät universell einsetzbar – sei dies PC, Handy oder Tablet. „Besonderen Wert haben wir außerdem auf die Optimierung der Berechnung und der folgenden grafischen Darstellung gelegt“, erläutert Diviš. „Daher wurden in unseren abschließenden Benchmark-Tests besonders die Framedrops überprüft. In diesem Rahmen konnten wir feststellen, dass selbst bei der Verarbeitung eines Videos und unter Verwendung einer Webcam die Framerate stabil bei rund fünf FPS lag – sogar bei der Visualisierung von 90 Prozent aller möglichen Feature-Maps, was in etwa 10.000 entspricht.“ Trotz der Vielzahl an grafischen Informationen und Daten sind somit keinerlei FPS-Einbrüche zu erwarten.
Neurons‘ Criticality Analysis
Beim Anlernen des CNN innerhalb des Visualisierungs-Tools werden die Deep-Learning-APIs TensorFlow und Keras als Grundlage verwendet, wodurch allgemeine Standards wie eine flexible Implementierung sämtlicher Klassen und Funktionen in Python bedient werden. Auch weitere externe Bibliotheken lassen sich anbinden. Sobald das neuronale Netzwerk ausreichend trainiert wurde, kann die Analyse der kritischen und antikritischen Neuronen beginnen – die Neurons‘ Criticality Analysis. „Dafür bieten wir als modifizierbare Parameter zusätzliches Bildrauschen (noise), das Hinzufügen oder Entfernen von Farbfiltern sowie die Maskierung bestimmter benutzerdefinierter Bereiche“, erläutert Diviš. „Eine Veränderung dieser Werte zeigt direkt, wie stark einzelne Neuronen die Entscheidung am Ende beeinflussen. Auch wird so deutlich, welche Stellen des neuronalen Netzwerkes möglicherweise den gesamten Erkennungsprozess stören.“