Das Training von KI-Modellen erfolgt zunehmend mit synthetischen Daten, die mit unterschiedlichen Techniken erzeugt werden. Dies beginnt mit den üblichen Verfahren zur Image Augmentation wie Drehen, Strecken, Hinzufügen von Bildrauschen etc. Hierdurch erhält die KI deutlich mehr Trainingsmaterial und Information darüber, was in einem Bild wichtig ist. Auch kann der Anwender mit Bildverarbeitungsprogrammen Objekte freistellen und anschließend in passende Hintergründe setzen. Generative Adversarial Networks erzeugen völlig neue realistische Bilder der relevanten Objekte. Noch weitergehender ist die 3D-Simulation einer gesamten Fabrikhalle, z.B. mit Nvidia Omniverse oder der Spiel-Engine Unity. In dieser Simulation können virtuell aufgestellte Kameras beliebig viele Bilder und Videos mit unterschiedlichsten Lichtverhältnissen aufnehmen. Ebenso kann der Anwender Farben und Materialien frei wählen und automatisch variieren. Da in der Simulation alle Objekte bekannt sind, kann diese die Aufnahmen automatisch mit Markierungen der Objekte versehen, die für das Training einer KI-Bilderkennung relevant sind.
Waschanlage für Mehrwegkisten
Ein Ansatz bietet sich bei der Qualitätssicherung im Bereich Mehrweglogistik an. Leere Obstkisten aus Supermärkten müssen nach Gebrauch hygienisch einwandfrei gesäubert werden. Insbesondere Aufkleber auf Obst gelangen bei der Nutzung immer wieder auf die Kisten und sind nur schwer zu entfernen. In einer Kistenwaschanlage transportieren Fließbänder die Kisten durch verschiedene Reinigungsstationen. Gelegentlich verbleiben dabei Kleberückstände auf den Kisten. Daher ist ein sorgfältiges Monitoring der Waschergebnisse notwendig. Dies kann eine KI übernehmen. Für das Monitoring gibt es große Kästen, durch die die Kisten auf dem Fließband hindurch laufen und in denen mehrere Kameras die Kisten inspizieren. Solche Kästen sind teuer, unhandlich, und es entfällt die Möglichkeit, eine Qualitätssicherung an unterschiedlichen Stellen der Anlage flexibel durchzuführen. Praktischer sind mobil einsetzbare Kameras, die automatisch entscheiden, ob eine Kiste sauber ist. Diese könnte eine Fließbandweiche steuern oder einfach Daten über Anzahlen von sauberen bzw. verschmutzten Kisten samt Prozentzahl der verschmutzten Fläche an ein Dashboard senden, um den Betreiber über das Reinigungsergebnis zu informieren.
Komplexe Bilderkennung durch KI
Herausforderungen bei diesem Ansatz sind insbesondere die Lichtreflexionen durch Waschwasser und das Durchscheinen von hellem Hintergrund durch Öffnungen in den Kistenwänden. Beides verändert sich durch die Bewegung der Kiste, weshalb die Beobachtung mehrerer Frames im Videostream der Kamera viel bessere Resultate liefert als ein einzelnes Foto. Frameraten von mindestens 60fps vermeiden Bildunschärfen, die durch die zügige und teils ruckartige Bewegung der Kisten auf dem Fließband entstehen können. Die schnelle Framerate ermöglicht sogar mit freihändig getragenen Smartphones gute Resultate.
In einem ersten Schritt erkennt ein Object Tracking mit Yolov5 die Kisten und extrahiert aus dem Videostream von jeder Kiste eine Vielzahl von Bildausschnitten, auf denen die Kiste nahezu den gesamten Bildbereich ausfüllt. Um in den einzelnen Videoframes zwei Kisten als dieselbe Kiste zu identifizieren, berechnet der Algorithmus die Mittelpunkte der Kisten und ordnet in aufeinanderfolgenden Frames nahe aneinanderliegenden Mittelpunkten dieselbe Kiste zu. Schon mit 800 Trainingsbildern kann die zweitkleinste Version von Yolov5 diese Aufgabe in Echtzeit zuverlässig bewältigen. Precision und Recall bewegen sich zwischen 99,5% und 100%. Die Mean Average Precision bewegt sich für sinnvolle Parameterwerte zwischen 98% und 99,5%. Für die Annotation der Trainingsdaten ist beispielsweise das Visual Object Tagging Tool (VoTT) geeignet. Damit markiert der Anwender direkt im Video alle sichtbaren Kisten mit einem möglichst eng anliegenden rechteckigen Rahmen.
Synthetische Trainingsdaten
Aufwendiger ist die Detektion von Waschrückständen, wie z.B. Kleberesten, auf den Kisten. Zunächst sind Waschrückstände in einer guten Waschanlage eher selten. Somit gibt es nur wenig Trainingsmaterial für die KI, d.h. es ist vergleichsweise aufwendig, Beispielbilder von Waschrückständen zu finden, und diese Bilder sind bezüglich Lichtverhältnissen, Größe, Form und Position der Rückstände auf der Kiste nicht variabel genug.