Rubrik: Embedded Vision & KI

Block-Übertragung mit PCIe

Bild 1 | Die PCIe-Kameras BVS CA-BN2-0032ZG erreicht dank des Block-Scan Mode mit dem 3,2MP Bildsensor Sony IMX252 (2.064x1.544 Pixel) eine Framerate von über 6.000fps.

In vielen Embedded Vision Systemen kommen Bildsensoren zum Einsatz, die über das Camera Serial Interface CSI2 direkt integriert sind. Daraus ergibt sich oft eine funktionale Beschränkung sowie eine Begrenzung in Bezug auf Bildauflösung und Framerate. PCI Express (PCIe) bietet die Möglichkeit, diese Lösungen auch auf einer Standardschnittstelle umzusetzen. Mit der Kamerafamilie BVS CA-BN hat Balluff ein entsprechendes Produkt im Portfolio, das einfach integriert werden kann und auch höhere Bildauflösungen bei entsprechenden Frameraten ermöglicht.

Kameras, IPCs & KI

Bild 2 | Auvidea zeigte einen ultra-kompakten KI-Beschleuniger-Stack, der auf dem Hailo-15H SoC basiert.

Knapp 1.200 Aussteller und ca. 32.000 Besucher konnte die Embedded World Mitte März in Nürnberg begrüßen. Der folgende Beitrag stellt zahlreiche der dort präsentierten Highlights zu Embedded Vision & KI vor.

Sichere Bilder

Um den Sicherheitsanforderungen und Designüberlegungen innerhalb von Embedded Vision Systemen mit CSI-2 gerecht zu werden, hat die MIPI Alliance ein neues Camera Security Framework entwickelt.

Imaging-Anwendungen im IoT-Bereich benötigen hochentwickelte Bildsensen mit immer kleineren Gehäusegrößen, geringerem Stromverbrauch und zu niedrigeren Kosten. Eine Schlüsselanforderung für Entwickler ist aber auch der wirksame Schutz dieser Systeme vor Sicherheitsbedrohungen. Hierfür wurde das MIPI Camera Security Framework entwickelt.

Einfacher KI-Workflow

Der Workflow mit ONNX und UniVision 3 ermöglicht eine skalierbare Lösung für die einfache Integration von KI in industrielle Bildverarbeitungsanwendungen.

Die Machine Vision Software UniVision 3 von Wenglor bietet mit dem ONNX Modul eine skalierbare Lösung für die einfache Integration von KI in industrielle Bildverarbeitungsanwendungen, um auch anspruchsvolle Anwendungen zuverlässig zu lösen.

KI-Box-PC für VLM

Der EPC-R7300 Orin Nano Super bietet mit Jetpack 6.2 deutliche Fortschritte bei der KI-Leistung und ist die ideale Plattform für den Einsatz von kleinen LLMs, VLMs und ViTs.

Advantechs Embedded-KI-Box-PC EPC-R7300 Orin Nano Super hat den Nvidia Jetson Orin Nano 8GB SoM integriert und liefert bis zu 67 TOPS an KI-Leistung bei niedrigem Stromverbrauch (25W). Das kompakte Design (152×173 ×50mm) und das vorinstallierte Ubuntu-Betriebssystem ermöglichen ein nahtloses KI-Deployment und machen ihn ideal für Anwendungen wie kleine Large Language Models (LLMs), Vision Language Models (VLMs) und Vision Transformers (ViTs).

Prognosen & Bildsimulation

Bild 1 | Mithilfe simulierter Bilder können KI-Modelle optimal trainiert werden und so helfen, Produktionsparameter zu verbessern.

KI kommt in Produktionen an. Sie kann beispielsweise Maschinenparameter basierend auf Sensordaten aus der Fertigung oder Bildinformationen eines Bauteils optimieren. KI-Tools vom Fraunhofer IPA ermöglichen, den Zustand eines Bauteils zu bewerten und die Produktionsparameter darauf basierend zu verbessern.

Overcoming the Barriers

Die Podiumsdiskussion am zweiten Tag der Online-Konferenz inVISION Days befasste sich mit dem Einsatz von KI-Beschleunigern in der Bildverarbeitung, insbesondere im Vergleich zu anderen Architekturen wie KI-SOCs und GPUs. Die Experten diskutierten die Vor- und Nachteile verschiedener Ansätze, die Anforderungen an Hardware und Software sowie zukünftige Trends.

MIPI & FPGA

Der Power SoC ist als Option für alle MIPI Kameras von Vision Components erhältlich und integriert FPGA-Bildvorverarbeitung direkt in das Design der winzigen Kameras.

MIPI-Kameras inklusive Bildvorverarbeitung: Mit einer neuen Kamera-Option und einer Reihe von FPGABeschleunigern vereinfacht
Vision Components die Embedded-Vision-Integration. So können Barcodes 10x schneller gelesen werden als bisher.

Mikrocontroller mit NPU und ISP

Der STM32N6 basiert auf dem ARM CortexR-M55 mit 800MHz. Es ist der erste Mikrocontroller der Serie mit STMicroelectronics eigener NPU, dem Neural-ART Accelerator, der mit 1GHz getaktet ist und bis zu 600GOPS bei einer durchschnittlichen Energieeffizienz von 3-TOPS/W bietet.