Qualität laufend überwachen
Der Model Drift kann negative Auswirkungen auf den Prozesserfolg. Folglich sollte auch die Qualität der eingesetzten KI-Modelle überwacht werden. Erschwerend kommt hinzu, dass diese Qualitätsprüfung (Validierung) ein mindestens ebenso komplexes Verfahren wie die Erstellung der Modelle selbst ist. Die Validierung besteht aus verschiedenen Tests, um Qualität und Güte des Modells in verschiedenen Bereichen und Aspekten zu prüfen. Je nach Einsatzgebiet, Anwendungsfall und Datenverfügbarkeit kann es schwierig sein, überhaupt sinnvolle Strategien und aussagekräftige Bewertungssysteme für die Validierung zu finden. Die Wahl der Maßstäbe und Metriken für Erklärbarkeit und Nachvollziehbarkeit bestimmter Algorithmen und deren Validierung sind komplex und zum Teil noch Gegenstand aktueller Forschungen. Zudem kann eine fahrlässig gewählte Validierungsstrategie völlig falsche Aussagen liefern. Wie herausfordernd solche Überwachungen werden können, ergibt sich aus der Menge der möglichen Einflussgrößen.
Werkzeuge für Spezialisten
Die Notwendigkeit der Qualitätsüberwachung und die Auswirkungen des Model Drift sind keine Neuigkeit. Es gibt immer mehr Werkzeuge, mit denen sich Model Drift erkennen lässt. Die Modellüberwachung in solchen Werkzeugen ist oft nur ein Modul von vielen und das Monitoring wird in Verbindung mit dem gesamten Management des Model-Lebenszyklus quasi mit erledigt. Damit einher gehen oft nur begrenzte und ungeeignete Methoden zur Qualitätskontrolle. Des Weiteren handelt es sich bei diesen Anwendungen oft selbst um komplexe Systeme oder Plattformen, die für KI-Spezialisten ausgelegt wurden. Sie werden von Data-Scientisten und Machine-Learning Software-Ingenieuren genutzt und unterstützen in erster Linie deren Arbeit. Unternehmen, die KI als ein Stück Software nutzen wollen, können heute zwischen dem Aufbau eines eigenen Data-Science-Teams, dem internen Betrieb einer Software-Plattform oder dem Abo in einer Cloud-Lösung wählen. Auf die Unternehmen kommen somit zusätzliche Investitionen und Risiken zu, entweder durch zusätzlichen Personalaufwand oder eine Erhöhung der gesamten Systemkomplexität inklusive Datensicherheitsfragen bei Cloud-Lösungen.
Neue Ansätze sind gefragt
Viele Unternehmen kennen den Schmerz der computergestützten Automatisierung und heute der Digitalisierung. Die IT hilft zwar, effizientere Prozesse einzurichten oder neue zu gestalten, kommt dann aber selbst mit einer eigenen Komplexität und zusätzlichen Investitionen daher. Software, die mittels künstlicher Intelligenz und Machine-Learning weitere Potenziale heben soll, fügt eine weitere Komplexitätsstufe in der IT-Landschaft hinzu. Der eigentliche Nutzen wird so aus unternehmerischer Sicht immer kleiner. Um den KI-Einsatz auch für Unternehmen zu ermöglichen, die keine eigene und große IT betreiben wollen oder können, konzentrieren sich Startups auf die Sicherung des reinen KI-Nutzenversprechens und bieten die Validierung als einen eigenen Service an. So hat sich beispielsweise Anfang 2022 im thüringischen Jena das Startup Phnx Alpha gegründet. Die Validierungsspezialisten fokussieren sich mit ihren Lösungen rein auf das Modellmonitoring und die Validierung im industriellen Umfeld: „Unser AI Guard ist vergleichbar mit einem Fitness Tracker für Modelle und kann sehr nah an oder direkt auf der Maschine oder dem industriellen Prozess eingesetzt werden. Dafür bedarf es weder Spezialisten noch einer zusätzlichen Software. Außerdem verbleiben die Prozessdaten im Unternehmen und werden nicht in die Cloud geschickt,“ sagt Mitgründerin Konstanze Olschewski. Das Angebot ist als Baustein zu verstehen, um den Zugang und die Qualitätssicherung von KI-Lösungen einem breiteren Spektrum von Unternehmen zu öffnen, ohne dass größere Investitionen getätigt oder Sicherheitsrisiken entstehen. Die Entwicklungen der kommenden Jahre werden zeigen, ob das gelingt. n CEO und Mitgründer von Phnx Alpha.