Frontscheibeneinblick
Die Reduzierung von Blendlicht spielt bei verkehrsspezifischen Anwendungen eine bedeutende Rolle, um beispielsweise Einblick durch die Frontscheibe zu erhalten und so die Nutzung von Sonderspuren für Fahrzeuge mit hoher Besetzung (HOV-Spuren), die Einhaltung der Gurtpflicht und sogar die Handynutzung während der Fahrt zu kontrollieren. Zu diesem Zweck entstand im Projekt eine kundenspezifische Kamera, die eine Blackfly S USB3-Platinenkamera mit dem 5-MP-Polarisationsfilter Sony IMX250MZR kombinierte. Teledyne FLIR kann verschiedene Sensoren von Kameras austauschen, um individuelle Kameraoptionen zu ermöglichen, hier um deren Funktion zur Blendlichtreduzierung zu demonstrieren. Dazu wurden die Kamerabilder über die SpinView-GUI von Teledyne FLIR gestreamt, die verschiedene ‚Polarisationsalgorithmus‘-Optionen wie Quad-Modus und Blendungsreduzierungsmodus bietet, um Blendlicht an einem stehenden Spielzeugauto zu reduzieren.
Gesamtsystemoptimierung
Während jeder der vier Prototypen unabhängig voneinander gut funktionierte, stellten die Projektteilnehmer bei der gleichzeitigen Ausführung aller Deep-Learning-Modelle eine ziemlich mangelhafte Gesamtleistung fest. Das TensorRT SDK von Nvidia bietet einen Deep-Learning-Inferenzoptimierer und eine Laufzeit der Nvidia-Hardware ähnlich dem Jetson TX2-Modul. Also optimierten die Entwickler die Deep-Learning-Modelle mithilfe des TensorRT SDK, was zu einer rund 10-fachen Leistungssteigerung führte. Zudem statteten sie das TX2-Modul mit einem Kühlkörper aus, um eine Überhitzung zu vermeiden, die beim gleichzeitigen Betrieb aller Anwendungen zu befürchten war. Schließlich gelang es, mit allen vier Anwendungen gleichzeitig gute Bildraten zu erzielen: 14 B/s für die Fahrzeugtyp-Identifikation, 9 B/s für die Fahrzeug-Farbklassifikation, 4 B/s für die automatische Kennzeichenerkennung und 8 B/s für die Polarisationskamera. Die Projektteilnehmer bewerten ihre Versuche als Erfolg, denn die Prototypen ließen sich in relativ kurzer Zeit entwickeln und grundlegend optimieren. Das TX2-Modul mit vorinstalliertem Spinnaker SDK sorgt für Plug&Play-Kompatibilität mit den Blackfly S-Platinenkameras und Nvidia bietet zahlreiche Tools, um die Arbeit mit dem TX2-Modul zu erleichtern. Interessierte Unternehmen können Quartet ab sofort über das vertriebsnetz des Herstellers oder direkt über dessen Websites erwerben. Eigenen Versuchsreihen auf dem Weg zur Spezialapplikation steht somit nichts im Weg. n bei Teledyne FLIR.
- Die Quartet-Trägerplatine für TX2 von Teledyne FLIR. Sie bietet vier TF38-Anschlüsse mit dedizierten USB3-Controllern und ein Nvidia Jetson TX2-Modul. Das Spinnaker SDK des Herstellers ist vorinstalliert, was Plug&Play-Kompatibilität mit den Blackfly S-Platinenkameras ermöglichen soll.
- Drei Standard-Platinenkameras der Reihe Blackfly S
- Eine kundenspezifische Platinenkamera mit Sony IMX250MZR-Polarisationssensor
- TF38-FPC-Kabel, die Strom und Daten über ein einziges Kabel übertragen können
- LED-Leuchten beugen etwaiger Bewegungsunschärfe vor