Erst vor Kurzem hat das Fraunhofer IAIS in Zusammenarbeit mit Munich RE eine Zertifizierungsmöglichkeit für künstliche Intelligenz geschaffen. Denn Software, die mit KI ausgestattet ist und z.B. Qualitätsprognosen auf Basis von so genannten Machine-Learning-Modellen erstellt, darf nicht nur zum Start geprüft, sondern muss permanent überwacht werden. Der Grund dafür ist ein Problem, das Betreiber oft wenig beachten, das aber mit dem zunehmenden Einsatz von KI-Software sichtbarer wird: Machine-Learning-Modelle werden mit der Zeit immer ungenauer und unzuverlässiger. Dieser Alterungsprozess wird als Model Drift bezeichnet und ist in Fachkreisen ein bekanntes Phänomen. Mit abnehmender Verlässlichkeit der KI-Modelle nimmt auch deren Nutzen ab – der dahinterstehende Business Case könnte kippen.
Was verbirgt sich hinter dem Alterungsprozess?
Ein Missverständnis in der KI-Welt ist die Annahme, dass alle Algorithmen von allein und fortwährend dazulernen. In der Realität ist das nur in einigen, speziellen Fällen umgesetzt und oft mit hohem Aufwand verbunden. Gerade in Industrieanwendungen, in denen Sensordaten eine zentrale Rolle spielen, lernen die Modelle zunächst basierend auf den Daten der Vergangenheit (Training). Aus den dort gelernten Mustern erzeugen die Modelle dann ihre Vorhersage. Und hier offenbart sich das Alterungs-Problem: Die Bedingungen der Vergangenheit haben sich zur Gegenwart hin verändert und tun dies fortwährend. Dabei handelt es sich oft nur um kleine Nuancen, die aber erheblichen Einfluss auf die Vorhersagegenauigkeit des Gesamtmodells haben können. Die Frage ist also, welche äußeren Einflüssen lassen das KI -Modell altern?
Daten verändern sich
Ein Beispiel: In einem industriellen Reinigungsprozess werden Bauteile mittels eines automatisierten Verfahrens gesäubert. Dieser Prozess erstreckt über mehrere Tauchbäder unterschiedlicher Säure- und Basenkonzentrationen. Viele Faktoren haben Einfluss auf die Reinigungsqualität der Bauteile. Die Aufgabe der KI ist es, die finale Reinigungsqualität frühzeitig vorherzusagen, um bei negativen Abweichungen in den Prozess einzugreifen zu können oder diesen sogar abzubrechen. Bei der Modellerstellung werden zunächst Annahmen über die möglichen Einflussfaktoren auf die Reinigungsqualität getroffen, etwa Säurekonzentration, Temperatur oder Verschmutzungsgrad der Teile. Sensoren erfassen die dafür notwendigen Daten, welche über einen möglichst repräsentativen Zeitraum gespeichert werden. Diese Daten der Vergangenheit bilden die Basis für das Modell-Training. Basierend auf den aktuellen Messungen und der Kenntnis über die Vergangenheit trifft das Modell dann seine Entscheidung bzw. die Vorhersage. So kann das Modell im Beispiel früh vorhersagen, ob sich am Ende etwa Qualitätsprobleme ergeben werden und entsprechend warnen. Die aktuellen Daten des Prozesses sind jedoch nicht zu 100 Prozent mit den historischen Daten vergleichbar. Beispielsweise können Sensoren verschmutzen oder durch ihren eigenen Lebenszyklus leicht veränderte Werte liefern. Verändern sich also die aktuellen Daten im Vergleich zu denen, die bei der Erstellung des Modells verwendet wurden, spricht man von einem so genannten ‚Data Drift‘. Oder vereinfacht dargestellt: Wenn der Luftdrucksensor in einem Autoreifen durch äußere Einflüsse immer ungenauere Werte liefert, wird auch die Vorhersage zur Reifengesundheit immer schlechter.
Voraussetzungen ändern sich
Machine Learning-Modelle haben mit einer weiteren Veränderungsgröße zu kämpfen, dem sogenannten ‚Concept Drift‘. Bezogen auf das Beispiel der Reinigungsbadoptimierung bedeutet das: Wurden die Daten für das Modell-Training ausschließlich für Teile erfasst, die in geschützten Hallen verwendet werden, sind die konzeptionellen Voraussetzungen für Bauteile im Außeneinsatz deutlich verschieden. Die Bedingungen für den Verschmutzungsgrad sind grundlegend anders. Es ist also zu erwarten, dass das Vorhersagemodell eine unzutreffende Aussage zur Reinigungsqualität machen wird. Etwas vereinfacht und bezogen auf den Autoreifen-Fall bedeutet das: Wurde das Modell zur Vorhersage der Reifengesundheit lediglich auf erhobenen Daten im Sommer trainiert, dürfte das Verhalten im Winter deutlich abweichen.