Mit den Fortschritten auf dem Gebiet der subsymbolischen KI, wie dem Deep Learning, werden auch die Grenzen datenbasierter Verfahren in Bezug auf Sicherheit und Zuverlässigkeit immer deutlicher. Denn Entscheidungen, die durch maschinelles Lernen getroffen werden, basieren weder auf symbolischen Berechnungen noch sind sie durch logische Regeln erklärbar und damit mathematisch nicht beweisbar. Gerade in sicherheitskritischen Bereichen wie der humanoiden Robotik ist die Verifizierbarkeit jedoch entscheidend, um das Risiko von Fehlfunktionen zu reduzieren und eine sichere Umgebung zu gewährleisten.
Komplexes Roboterverhalten lernen und verifizieren
Im Rahmen des vom Bundesministerium für Bildung und Forschung (BMBF) geförderten Projekts VeryHuman haben DFKI-Wissenschaftlerinnen und -Wissenschaftler einen neuen Ansatz entwickelt, der subsymbolische und symbolische KI-Methoden kombiniert. Konkret nutzten sie symbolische Spezifikationen im Reinforcement Learning, bei dem ein System für mathematisch überprüfbare Ergebnisse belohnt wird. Dafür bündelten die zwei Bremer Forschungsbereiche Robotics Innovation Center, geleitet von Prof. Dr. Frank Kirchner, und Cyber-Physical Systems, geleitet von Prof. Dr. Rolf Drechsler, ihre Kompetenzen. Ziel war es, ein KI-basiertes Steuerungssystem für humanoide Roboter zu entwickeln, mit dem menschenähnliche Fähigkeiten wie sicheres und stabiles Laufen oder andere komplexe Bewegungen erreicht werden können.
Belohnungsfunktionen für Reinforcement Learning
Durch die Verwendung symbolischer Spezifikationen, wie einer einfachen Sprache zur Beschreibung des Roboterverhaltens, ist es dem Projektteam gelungen, abstrakte kinematische Modelle zu erstellen, die mathematisch überprüft werden können. Diese Abstraktionen definieren Belohnungsfunktionen für das Reinforcement Learning und ermöglichen es dem Roboter, seine Entscheidungen anhand der Modelle zu verifizieren. Dadurch wird die Zuverlässigkeit der Entscheidungen erhöht, was stabile und vorhersehbare Roboterbewegungen gewährleistet und das Risiko von Fehlverhalten oder unerwarteten Aktionen reduziert.
Zusätzlich wurde das gewünschte Roboterverhalten als hybrider Automat modelliert, ein mathematisches Modell, das sowohl kontinuierliches als auch diskretes Verhalten beschreibt. Das reduziert den Zustandsraum des Systems und ermöglicht so ein effizienteres Lernen.
Schnelles dynamisches Laufen
Darüber hinaus ist es den Forschenden im Rahmen des Projekts gelungen, dynamisches Laufen mit dem humanoiden Roboter RH5 des DFKI zu realisieren. Dazu kombinierten sie die Methode des Nullmomentpunktes (der Punkt auf der Standfläche eines Roboters, an dem die resultierende Bodenkraft kein Kippmoment erzeugt) mit dem Ansatz der Ganzkörperregelung. Diese Kombination ermöglicht eine Erhöhung der Stabilität und Leistungsfähigkeit von lagegeregelten Robotern. So konnte robustes dynamisches Laufen bei unterschiedlichen Geschwindigkeiten und Schrittlängen unter effektiver Ausnutzung der Systemgrenzen sowohl hinsichtlich der Geschwindigkeit als auch des Bewegungsumfangs erreicht werden.