Erfolgversprechender ist der Ansatz, künstlich Bilder von Kisten mit Kleberückständen zu erzeugen. Mit herkömmlichen Bildverabeitungstechniken wie Transfer in den HSV-Farbraum, Thresholding, Dilatation und Weichzeichnen kann der Anwender Kisten und Kleberückstände aus Bildern extrahieren. Das Augmentieren der Kistenbilder mit Veränderung der Helligkeit, Farbe, Sättigung und Gammakorrektur erzeugen die Variabilität, die von unterschiedlichen Beleuchtungssituationen und Farbdarstellungen unterschiedlicher Kameras zu erwarten ist. Die Kleberückstände benötigen stärkere Augmentierungen, da sie in der Praxis stark in Form, Farbe und Transparenz variieren. Neben Rotationen und Scherungen erzeugen Polar Warp und ElasticTransformation der Python Bibliothek imgaug die nötige Vielfalt. Auch Gaussian Noise, Weichzeichnen und sogar zufällige Formen basierend auf Bezier-Kurven bringen wertvolles Trainingsmaterial.
Kleberückstände, die in die Bilder von Kisten kopiert werden, können je nach Position unnatürlich aussehen. Überzeugendere Ergebnisse liefern Helligkeitsanpassungen von Teilen der Klebereste, die genau den Licht- und Schattenverhältnissen entsprechen, die an der entsprechenden Stelle der Kiste vorliegen. Auch eine Nachbehandlung der Ränder von hineinkopierten Kleberückständen auf dem Alphakanal steigert den Realismus der Darstellung. Diese Nachbehandlung der Ränder mit Erosion, Padding, Weichzeichnen und Rescale Intensity vermindert die Gefahr, dass die KI am Ende nicht auf Kleberückstände sondern auf die Ränder hineinkopierter Bilder trainiert wird.
Ein weiterer Ansatz ist, vollkommen künstliche Bilder von Kleberückständen zu erstellen. Der Startpunkt ist die Erzeugung einer papierähnlichen Textur aus einer weißen Fläche mit Poisson Noise und Weichzeichnern. Lokale Schattenwürfe lassen die Textur weniger flach erscheinen. Das Ausschneiden zufälliger Formen und nachgeschaltete Transformationen erstellen dann den vollständig künstlich erzeugten Kleberückstand.
Mischung aus Trainingsdaten
Die synthetische Erzeugung von Bildern liefert nicht nur genügend Trainingsdaten für die KI, sondern erleichtert auch das erneute Trainieren mit Kisten anderer Form und Farbe, mit neuen Lichtverhältnissen oder Fabrikumgebungen. Dabei besteht jedoch die Gefahr, ein sogenanntes Simulation-to-Reality Gap zu erzeugen, so dass die KI möglicherweise die synthetischen Bilder richtig erkennt, jedoch im realen Einsatz versagt. Deshalb bewährt sich in Experimenten eine Mischung aus Trainingsdaten. Schon ein geringer Anteil an realen Bildern erhöht die Qualität der KI substanziell. Für die Erkennung von Kleberückständen ergab die folgende Mischung sehr gute Ergebnisse: 240 Bilder von Kisten mit echten, nicht hineinkopierten Kleberückständen, 10.000 synthetische Bilder mit hineinkopierten Kleberückständen, 5.000 synthetische Bilder mit hineinkopierten vollständig künstlichen Kleberückständen.
99,6% Precision in der Praxis
Ob die synthetischen Daten als Trainingsmaterial für die KI genügen, zeigt sich erst im praktischen Einsatz. Die trainierte KI erreichte bei der Auswertung von realen Kamera-Videos eine Precision von 99,6% und einen Recall von 75,4%, d.h. dass 99,6% aller als verschmutzt markierten Kisten tatsächlich verschmutzt waren und dass 75,4% aller tatsächlich verschmutzten Kisten auch als verschmutzt erkannt wurden. Um den Recall zu erhöhen, bietet sich der Einsatz einer zweiten Kamera an, die aus einer anderen Richtung bisher ungesehene Seiten der Kiste filmt.
www.conet.de
Autoren: Dr. Christine Priplata und Dr. Colin Stahlke, AI Solution Experts & Business Developers, Conet Solutions GmbH