- CLAHE (Contrast Limited Adaptive Histogram Equalization): Diese Funktion erhöht adaptiv den Kontrast eines Bilds, nun allerdings mithilfe einer parametrierbaren Unterteilung in kleinere Bildregionen. Dies ergibt bessere Resultate insbesondere bei Bildern mit sehr hellen und sehr dunklen Bereichen, da nur die jeweils kleineren lokalen Bildbereiche betrachtet werden.
- Matching: Hier steht eine neue Funktion zur Filterung der Keypoint-Ergebnisse und für die direkte Berechnung der Homografie-Matrix zur Verfügung. Ihre Nutzung erhöht die Präzision bei der Detektion und Visualisierung von rotierten Objekten.
- Connected Components: Diese Funktion dient zum Auffinden von zusammenhängenden Regionen in Binärbildern. Sie liefert weiterhin direkt den Schwerpunkt, die Pixelanzahl sowie ein umschließendes Rechteck und stellt damit eine auf einem anderen Berechnungsalgorithmus basierende Alternative zur Blob-Funktion dar.
- GeneralizedHoughBallard: Diese alternative Matching-Funktion basiert auf der Hough-Transformation, einem robusten Verfahren zur Erkennung von Geraden und Kreisen in einem binären Gradientenbild.
- Der erweiterte Funktionsumfang umfasst außerdem neue Container-Typen mit vielfältigen zusätzlichen Berechnungsmöglichkeiten.
Für Twincat Vision steht mit dem nächsten Twincat-Release ein neuer Treiber zur Nutzung der u. a. von den Embedded-PCs CX20x2 unterstützten 10-GigE-Ethernet-Funktionalität zur Verfügung. Mit den neuen Releases von Twincat Scope und Twincat Analytics können Bilddaten mit dem Scope Server und dem Analytics Logger aufgezeichnet, gespeichert und versendet werden. Twincat Analytics Logger ermöglicht es, die Bilddaten per MQTT auch an eine Cloud-Plattform zu übertragen. Weiterhin wird zur optimierten Bilddarstellung in Twincat Scope View ein neuer Image-Chart-Typ bereitgestellt.
Visualisierung mit Vision-spezifischen Controls
Die Visualisierungslösung Twincat HMI bietet mit dem neuen Vision HMI Control Release die Möglichkeit, auch Bildverarbeitung in die hochmoderne HTML-basierte Bedienoberfläche zu integrieren. Hierzu zählt ein erweitertes Image Control zur Bilddarstellung mit folgenden Features:
- direkte Verknüpfung von mehreren Bildvariablen und einfache Umschaltung der Bildanzeige
- Einfrieren´ des Bilds, d.h. Stoppen der Bildaktualisierung für eine detailliertere Analyse der letzten Aufnahme
- Skalieren und Verschieben des Bilds innerhalb des Vision Controls (über Touch-Gesten, Maus oder Werteeingabe) für das genauere Betrachten von Bilddetails
- Anzeige einer Toolbar mit direkt nutzbaren Bedienelementen (z.B. Bildauswahl, Skalierung, Shape-Erstellung, Stoppen der Bildaktualisierung, Download des angezeigten Bilds)
- Anzeige einer Infobar mit aktuellen Informationen und Werten wie z.B. Bildgröße, Pixelkoordinate, Farbwert und Shape-Daten
- Zeichnen verschiedener, in Position und Größe auch im Nachhinein veränderbarer Shapes (Punkt, Linie, Rechteck, Ellipse, Polygon) zur Bestimmung von Größe, Fläche sowie Koordinaten u.a. für die Verwendung als ROI
- Einblenden von Grafiken (Kreuz, Rechtecke, Kreise) oder Bildern als Overlay für das Einrichten und Positionieren von Kameras oder Werkstücken
Ohne dieses Control müsste sich der Anwender die erweiterten Funktionalitäten selbst mithilfe von zusätzlichen Elementen zeitaufwändig erstellen und programmieren. Das neue Image Control, in dem viele Einzel-Controls und umfangreiche JavaScript-Programmierung gekapselt sind, stellt dies hingegen in vollem Umfang und einfach konfigurierbar zur Verfügung. Weiterhin bietet das Vision HMI Package mit dem Color Control folgende Features:
- Anzeige oder Eingabe eines Farbwerts über drei verschiedene Möglichkeiten (Textfeld, Slider, Color-Input-Element des Browsers)
- flexible Konfigurierbarkeit sowie Editierbarkeit hinsichtlich Kanalanzahl, Wertebereich und Controls
- Wahl zwischen horizontaler und vertikaler Ausrichtung
- Umrechnung zwischen verschiedenen Farbformaten wie Grauwerte, RGB und HSV
Beim Color Control sind ebenfalls Einzel-Controls und JavaScript-Programmierung gekapselt. Zudem besteht die Möglichkeit, ein Vierfach-Array zu verknüpfen, um so einen Farbfilter aus der PLC direkt editieren zu können. Auch hierdurch spart der Anwender Zeit- und Engineeringaufwand bei der Integration der Bildverarbeitung in seine Steuerungsapplikation.
Ausblick
Beckhoff wird die Weiterentwicklung von Twincat Vision kontinuierlich weiterführen. Die Vision-Bibliothek wird für die Programmierung in C++ angepasst und optimiert bereitgestellt, sodass Anwender bei Bedarf auch komplett in einem C++-Modul programmieren können und keine PLC mehr benötigen. Zudem lassen sich damit eigene Algorithmen einfacher in C++ programmieren und mit den Funktionen von Twincat Vision ergänzen. Weiterhin ist vorgesehen, den Einsatz von Machine Learning in der Bildverarbeitung voranzutreiben und die Vision-Funktionalität auch für das neue Betriebssystem Twincat/BSD bereitzustellen.