Eines der großen Missverständnisse an die KI-Welt ist die Annahme, dass alle Algorithmen von allein und fortwährend dazulernen. In der Realität ist das leider nur in einigen speziellen Fällen umgesetzt und heute noch mit immens hohen Aufwänden verbunden. Gerade in Industrieanwendungen, in welchen Sensordaten eine zentrale Rolle spielen, lernen die Modelle auf den Daten der Vergangenheit und erzeugen dann auf den gelernten Mustern ihre Vorhersage. Und genau darin offenbart sich das Problem der Alterung: Die Bedingungen der Vergangenheit ändern sich fortwährend. Das mögen nur kleinste Nuancen sein, diese können aber einen erheblichen Einfluss auf die Qualität und Vorhersagegenauigkeit des Gesamtmodells haben.
Veränderung der Daten: Data Drift
Bleiben wir bei einem einfachen Beispiel: der Bilderkennung. Das ML-Modell eines Greifroboters wird mit Hilfe von Kamerabildern darauf trainiert, Bauteile mit einer unzureichenden Oberflächenstruktur frühzeitig aus dem Produktionsprozess auszusortieren, weil hier ein Zusammenhang mit der späteren Produktqualität festgestellt wurde. Das Training des Modells fand auf Basis von Bildern statt, die unter idealen Bedingungen aufgenommen wurden. Verändern sich nun im Laufe der Zeit z.B. die Lichtverhältnisse, unter denen die Kamera die Bauteile aufnimmt, so ist es sehr wahrscheinlich, dass das Modell damit schwieriger umgehen kann. Die fortwährend und aktuell gemessenen Daten im Prozess sind schlichtweg nicht zu 100 Prozent mit den historischen Daten vergleichbar.
Veränderung der Fragestellung: Concept Drift
Die Modelle des maschinellen Lernens haben noch mit einer weiteren Veränderungsgröße zu kämpfen: dem sogenannten Concept Drift. Hier steckt keine technische, sondern eher eine konzeptionelle Veränderung des Gelernten dahinter. Am Beispiel des Greifroboters würde das z.B. eintreten, wenn sich das Ausgangsmaterial der Bauteile ändert und damit auch deren Oberflächenstruktur. Die ursprüngliche Beziehung zwischen Oberflächenstruktur und einer späteren Qualität, die das Modell während des Trainings gelernt hat, stimmt hier nicht mehr.
Beide dargestellten Einflussmöglichkeiten auf die Vorhersagequalität des ML-Modells haben einen ganz entscheidenden Nachteil: Das Modell wird weiterhin Prognosen erstellen, unser Greifroboter wird also weiterhin Bauteile aussortieren, denn die eigentliche Qualität der Prognosen ist zu diesem Zeitpunkt zunächst unbestimmt. Die Auswirkungen sind dann wieder in der Fertigungsqualität zu spüren, die abnimmt. Am Ende wackelt der ROI des gesamten KI-Projektes. Die eingesetzten Modelle müssen also einer fortwährenden Qualitätsüberwachung unterzogen werden. Erschwerend kommt hinzu, dass die Qualitätsprüfung, die sogenannte Validierung, ein mindestens ebenso komplexes Verfahren, wie die Erstellung der Modelle selbst, ist. Je nach Einsatzgebiet, Anwendungsfall und Datenverfügbarkeit kann es sehr schwierig sein, überhaupt sinnvolle Strategien und aussagekräftige Messsysteme für die Validierung zu finden.
Neue Ansätze für die Validierung
Um die Vorteile von KI-Systemen auch für jene Unternehmen zugänglich zu machen, die keine eigene und große IT betreiben wollen und können, konzentrieren sich mittlerweile Start-ups auf die Sicherung des reinen KI-Nutzenversprechens: Die Validierung. So hat sich z.B. Anfang 2022 im thüringischen Jena das Startup Phnx Alpha gegründet. Die Validierungsspezialisten fokussieren sich mit ihren Lösungen rein auf das Modell-Monitoring und die passende Validierung im industriellen Umfeld: „Unser AI Guard ist vergleichbar mit einem Fitness Tracker für Modelle und kann sehr nah an oder direkt auf der Maschine oder dem industriellen Prozess eingesetzt werden. Dafür bedarf es weder Spezialisten noch einer zusätzlichen Software. Außerdem verbleiben die Prozessdaten im Unternehmen und werden nicht in die Cloud geschickt.“, so die Mitgründerin Konstanze Olschewski.