Vier Anwendungen für eine Trägerplatine

Prototypen-Setup für alle vier Anwendungen
Prototypen-Setup für alle vier Anwendungen

Immer mehr industrielle Applikationen setzen auf Embedded-Vision-Komponenten. Die Quartet Embedded Solution für TX2 von Teledyne FLIR ist auf besonders platzsparende Anwendungen ausgerichtet. Auf der enthaltenden Trägerplatine können bis zu vier Machine Vision-Kameras mit der Bandbreite von USB 3.0 angeschlossen werden. Das System beinhaltet den Deep-Learning-Hardwarebeschleuniger Nvidia Jetson TX2 und ist im Spinnaker SDK von FLIR vorintegriert. Kurz nach der Markteinführung berichtet der Hersteller von Anfragen von Anwendern, die damit Systeme für Inspektion, mobile Robotik oder Drohnen entwickeln wollen. Damit wird klar, dass beim Einsatz der Platine eine Fülle unterschiedlicher Möglichkeiten bestehen. Als Inspiration für eigene Projekte stellt dieser Artikel vier prototypische Anwendungen vor, die ersten drei verwenden das KI-Verfahren Deep Learning.

Kennzeichenerkennung

Für die Kennzeichenerkennung kam ein handelsübliches Deep-Learning-Modell von Nvidia zur Nummernschilderkennung (LPDNet)1 zum Einsatz, um die Position der Nummernschilder zu erkennen. Um die Buchstaben und Ziffern zu erkennen, nutzten die Entwickler bei FLIR die Tesseract Open-Source-OCR-Engine2. Bei der Kamera handelte es sich um eine Blackfly S 8,9 MP Platinenfarbkamera (BFS-U3-88S6C-BD) mit Sony IMX267-Sensor. Die Projektteilnehmer begrenzten die Region of Interest für die Kennzeichenerkennung, um die Leistung zu beschleunigen, und wendeten Tracking an, um das System robuster zu machen. Die Ausgabe enthält Begrenzungsrahmen der Kennzeichen zusammen mit den entsprechenden Nummernschildzeichen. Entwicklungszeit: Zwei bis drei Wochen, in erster Linie um das System robuster und schneller zu machen. Testbilder: In LPDNet enthalten

Fahrzeugtyp-Kategorisierung

Für Anwendungsfall 2 ‚Fahrzeugtyp-Kategorisierung‘ mittels Transferlernen haben die Entwickler ein eigenes Deep-Learning-Objekterkennungsmodell auf drei Spielzeugautos SUV, Limousine und LKW trainiert. Es wurden etwa 300 Testbilder des Setups aus unterschiedlichen Entfernungen und Winkeln aufgenommen. Bei der Kamera handelte es sich um eine Blackfly S 5 MP Platinenfarbkamera (BFS-U3-51S5C-BD) mit Sony IMX250-Sensor. Die Mitarbeiter annotierten etwa drei Stunden lang die Begrenzungsrahmen der Spielzeugautos. Mittels Transferlernen trainierten sie das eigene Objekterkennungsmodell SSD MobileNet3, was auf einer Nvidia GTX1080 Ti GPU etwa einen halben Tag dauerte. Mithilfe des GPU-Hardwarebeschleunigers kann das Jetson TX2-Modul Deep-Learning-Inferenz durchführen und Begrenzungsrahmen der Autos zusammen mit den entsprechenden Fahrzeugtypen ausgeben. Entwicklungszeit: ca. zwölf Stunden, inklusive Bildaufnahme und -annotation, etwa 300 Testbilder.

Fahrzeug-Farbklassifikation

Zur darauf folgenden Fahrzeug-Farbklassifikation wurde dasselbe Deep-Learning-Objekterkennungsmodell wie oben genutzt, um die Autos zu erkennen, gefolgt von einer Bildanalyse anhand der Begrenzungsrahmen, um die Farbe zu klassifizieren. Die Ausgabe enthält Begrenzungsrahmen der Fahrzeuge zusammen mit den entsprechenden Nummernschildzeichen. Bei der Kamera handelte es sich um eine Blackfly S 3 MP Platinenfarbkamera (BFS-U3-32S4C-BD) mit Sony IMX252-Sensor. Entwicklungszeit: Es konnte da breits vorhandene Modell zur ‚Fahrzeugtyp-Anwendung‘ genutzt werden, plus zwei Tage für die Erweiterung auf Farbklassifikation inklusive Integration und Test. Testbilder: Die 300 vorhandenen Aufnahmen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert