Zentrale Idee ist es, Struktur- und Oberflächenfehler im laufenden Herstellungsprozess durch eine Datenfusion mehrerer Sensoren zu erkennen. Fehler sollen während der Fertigung so früh wie möglich erkannt werden, um am Ende der Produktionskette ein fehlerfreies Produkt zu gewährleisten. Für diese Null-Fehler-Fertigungsstrategie wurde ein skalierbarer Multisensor-Überwachungsansatz entwickelt, der auf eine Vielzahl von Fertigungstechnologien anwendbar ist. Eine Demonstrationsanlage prüft dabei vollautomatisch eine Vielzahl unterschiedlicher Produkte wie Holz-, Kunststoff- oder Metallteile und lackierte Oberflächen auf optische Fehler. Weiterhin wurde ein Software-Framework erarbeitet, das die Entwicklung der Überwachungssoftware für Prüfsysteme erlaubt. Hierfür wurden 19 Matrix-Kameras in Full-HD-Auflösung, eine Hyperspektralkamera sowie berührungslose Rauheitsmesssysteme auf Basis von Laserstreulichtverfahren und Inline-Mikroskopie mit Laserlinienprojektion kombiniert. Durch den Einsatz einer Hyperspektralkamera kann die molekulare Struktur der Prüfobjekte in einem Wellenlängenbereich von 400 bis 1.000nm analysiert werden, wodurch auch Fehler außerhalb des sichtbaren Bereiches erkannt werden. Insbesondere bei der Analyse von Werkstücken aus organischen Materialien bzw. der Prüfung auf Kontaminationen bietet die Hyperspektralanalyse Potenzial. Für lackierte Produkte können im IR-Bereich Schwankungen der Beschichtungsdicke detektiert werden, bevor es zu sichtbaren Farb- und Texturabweichungen der Lackoberfläche kommt. Das gesamte Prüfsystem ist für Durchlaufgeschwindigkeiten von bis zu 1m/s ausgelegt.
Besondere Beleuchtungsanforderungen
Aufgrund der Durchlaufgeschwindigkeit ergaben sich besondere Ansprüche bei der Auswahl der Beleuchtungskomponenten. Da das Bildverarbeitungssystem den laufenden Produktionsprozess nicht unterbrechen soll, werden die Prüfbilder direkt in der Bewegung aufgenommen und ausgewertet. Mit einer Permanent- oder Schaltbeleuchtung ist eine auswertbare Bildaufnahme undenkbar. Die Lichtstärke ist viel zu gering, um das Prüfobjekt ausreichend zu beleuchten. Außerdem ist die Einschaltverzögerung einer Schaltbeleuchtung mit etwa 5ms für die Anwendung zu groß. Aus diesen Gründen fiel die Wahl auf Beleuchtungen mit integrierter Blitztechnologie der Marke Lumimax von iiM. Die Blitzbeleuchtungen reagieren schnell auf den Triggerimpuls der Kamera, sodass die maximale Lichtleistung innerhalb von höchstens 5µs verfügbar ist. Auch die Ausleuchtung der Prüfobjekte aus unterschiedlichen Winkeln musste gewährleistet werden, um Fehler auf den einzelnen Flächenelementen der Bauteile sichtbar zu machen. Auf diese Weise wurde das Ausspiegeln der manuellen Prüfung nachgeahmt. Dabei wurden Beleuchtungen ohne Diffusorvorsatz verwendet, sodass eine quasi-strukturierte Lichtgebung vorlag. Zum Einsatz kamen große Standard-Balkenbeleuchtungen der Marke Lumimax sowie eine Sonderanfertigung der Lumimax Flächenleuchten. Dank ihrer großen Leuchtfläche und den schmalen Seitenrändern ermöglicht das Flächendurchlicht die Ausleuchtung der nahezu gesamten Breite der Prüfanlage. Ein weiterer wichtiger Aspekt bei der Beleuchtungsauswahl war eine kompakte Bauform mit integriertem Controller, da aufgrund der Kameraanzahl und deren Halterungen nur noch wenig Bauraum für Beleuchtungskomponenten zur Verfügung stand.
Framework mit visueller Programmierschnittstelle
Insgesamt fallen bei dem entwickelten Bildverarbeitungssystem sehr hohe Datenmengen von bis zu 400MByte/s an, welche verarbeitet werden müssen. Daher ist eine massiv-parallele Datenverarbeitung unter Einbeziehung von 28 Rechenkernen und eines Grafikprozessors notwendig. Durch diese Parallelisierung ist eine Inline-fähige 100%-Kontrolle gewährleistet. Weiterhin wurde vom Fraunhofer IWU das Framework Xeidana mit visueller Programmierschnittstelle entwickelt, um eine Entwicklung von anwendungsspezifischen, massiv-parallelen Qualitätsüberwachungsprogrammen zu ermöglichen. Das Framework stellt eine Vielzahl von Programmmodulen zum Einlesen unterschiedlicher Sensoren, der Signalverarbeitung und Methoden des maschinellen Lernens in Bibliotheken bereit. Zum Aufbau eines Analyseprogramms werden Funktionsmodule aus einer Bibliothek von Datenanalysemethoden (z.B. Datenfilter, Klassifikatoren) und Datenquellenverbindungen (z.B. Sensoren, Datenbankschnittstellen) per Drag&Drop platziert und an ihren Ein- und Ausgabe-Slots miteinander verbunden. Im Ergebnis entsteht ein Verarbeitungsnetzwerk, welches die anwendungsspezifische Prüfaufgabe löst. Das Framework ist modular aufgebaut und kann über ein PlugIn-System um neue Module erweitert werden. Mithilfe dieses Konzepts ist auch die Kombination verschiedener Sensortypen (z.B. Wirbelstromsonden, Hyperspektralkameras, Laseroberflächenscanner, Kameras oder akustische Sensoren) und Algorithmen zur Datenauswertung möglich. Dank der Datenfusion von Sensoren mit unterschiedlichen Messprinzipien oder Sensoren mit redundanter Information wird zusätzlich eine höhere Auswertungssicherheit der zu überwachenden Merkmale erreicht und das Spektrum der identifizierbaren Fehler erweitert. Durch die Kombination verschiedener Sensorsignale können neue virtuelle Sensorsignale errechnet werden, die mit einem Fehlermerkmal korrelieren, welches anhand der Einzelsignale der Sensoren nicht erkennbar wäre. Dies kann z.B. bei sehr kleinen Defekten auf stark glänzenden Oberflächen der Fall sein, welche nur unter bestimmten Perspektiven sichtbar sind. Um diese Defekte zu erfassen, kombiniert die Software mehrere Aufnahmen einer Sequenz, die von ein- und derselben Region des Werkstücks unter verschiedenen Kamera- und Beleuchtungswinkeln aufgenommen wurden. Anschließend werden die Fehlerbereiche aus den Bildern der Aufnahmesequenz extrahiert, in welchen der Fehler sichtbar ist. Eine andere Möglichkeit ist die Vorauswahl von fehlerverdächtigen Bereichen anhand der Bilder der Matrix-Kameras und deren anschließende detaillierte Analyse mittels Hyperspektralkamera.
Fazit und Ausblick
Mittels Datenfusion können neue virtuelle Sensorsignale generiert werden, anhand derer Fehler erkennbar sind, die sich in den Einzelsignalen der Sensoren oft nicht abbilden. Aufgrund der Vielzahl von zu fusionierenden Sensorsignalen muss ein sehr hohes Datenvolumen verarbeitet werden. Gleichzeitig muss die Datenauswertung mit dem Produktionstakt Schritt halten. Im Hintergrund bewerkstelligt das Xeidana-Framework die optimale Parallelisierung der einzelnen Verarbeitungsschritte auf mehrere CPUs und GPUs sowie die Synchronisation der Datenströme zwischen den einzelnen Programmmodulen. Das Framework wurde für den Anwendungsfall der Multisensor-Fehlerüberwachung evaluiert. Dabei werden Matrix-Kameras mit Hyperspektralkameras und optischen Rauheitsmessgeräten kombiniert. Zukünftige Weiterentwicklungen werden sich mit der Integration und Datenfusion von 3D-Kameras und Sensoren im nicht-sichtbaren Bereich (z.B. UV, Terahertz, Radar, Röntgen) befassen, um zusätzlich Maßabweichungen und innere Defekte der Werkstücke mit zu berücksichtigen.