Das Problem: Wie auch beim menschlichen Auge gibt es Überlappungen der visuellen Informationen. Um das zu begreifen und aus der Vielzahl von Daten ein stimmiges Bild zu generieren, wurde am DFKI das „SG-PGM (Partial Graph Matching Network with Semantic Geometric Fusion for 3D Scene Graph Alignment and its Downstream Tasks)“ entwickelt. Die Ausrichtung zwischen sogenannten dreidimensionalen Szenenvisualisierungen (3D scene graphs), bietet die Grundlage für eine Vielzahl von Anwendungen. So unterstützt sie beispielsweise bei der „Punktwolkenregistrierung“ (point cloud registraton) – und hilft Robotern bei ihrer Navigation.
Damit dies auch in dynamischen Umgebungen mit etwaigen Störquellen gelingt, verknüpft SG-PGM die Visualisierungen mit einem neuronalen Netzwerk. „Das Programm wiederverwertet dabei die geometrischen Elemente, welche durch die point cloud registration erlernt wurden und assoziiert die gruppierten geometrischen Punktdaten mit den semantischen Merkmalen auf Knotenebene“, so Alain Pagani vom DFKI.
Programm erkennt Objekte anhand ihrer Bedeutung wieder
Im Grunde genommen wird also einer bestimmten Gruppierung von Punkten eine Semantik zugewiesen (Beispielsweise die Bedeutung: „blauer Stuhl vor dem Monitor“). Dieselbe Gruppierung kann dann in einem anderen Graph wiedererkannt werden und somit sie Szene lediglich um die nicht wiederkehrenden Elemente erweitert werden.
SG-PGM ist somit in der Lage, mit nie dagewesener Genauigkeit etwaige Überlappungen in einer Szene zu identifizieren und somit mittels einer Vielzahl von Sensoren ein möglichst exaktes Gesamtbild zu ermitteln. Das heißt: Roboter können sich im dreidimensionalen Raum besser zurechtfinden und Objekte präzise lokalisieren. Diesen technologischen Fortschritt haben die Veranstalter der CVPR mit einer Platzierung honoriert.