In Zusammenarbeit mit dem Exzellenzcluster CeTI (Centre for Tactile Internet with Human-in-the-Loop) der Technischen Universität Dresden lernten drei kollaborative Roboterarme, wie Takte geschlagen und Dynamiken angezeigt werden. Dabei hatten die Roboter besondere rhythmische Herausforderungen zu meistern und mussten z.B. das geteilte Ensemble unabhängig voneinander durch komplexe Passagen führen.
Ein halber Dirigent
Der Titel des Musikstücks, geschrieben von Andreas Gundlach, unter Leitung der dreirarmigen Roboterarme, mit dem die HybridBiennale 2024 eröffnet wurde, lautete ‚Semiconductors Masterpiece‘ – also das Meisterwerk eines Halbdirigenten. Die drei Roboterarme dirigierten das Orchester mit rot, gelb und blau leuchtenden Taktstöcken.
Learning by Teaching
Frank Peters, Leiter der Robotikgruppe an der TU Dresden, hat das System hinter den Roboterarmen mit entwickelt. Hiefür stellt man den Roboter auf den sogenannten Impedanz-Modus. So kompensiert der Roboter nur seine eigene Gravitation und lässt sich sehr leicht hin und her bewegen. Um die entsprechenden Bewegungen einzulernen, hat sich der Dirigent nun hinter den Roboter gestellt und diesen per Hand geteacht.
Die Dresdner Sinfoniker bemängelten am Roboterdirigenten allerdings das fehlende Bewusstsein für die tatsächliche Musik, denn natürlich führt der Roboter so ausschließlich zuvor erlernte Bewegungen aus und ist weder in der Lage, zu improvisieren noch einfühlsam auf die Musik und die Musiker einzugehen. Der Roboter spuhlt einfach gnadenlos sein Programm ab.
Mit KI zu mehr Einfühlungsvermögen
Theoretisch sind Roboter allerdings sehr wohl in der Lage, in Echtzeit auf Gehörtes und Musik zu reagieren. Entsprechende Programme gibt es, etwa am Pariser Recherchezentrum für Computermusik. Mittels KI sollen nun auch die Dresdner Dirigierroboter trainiert werden, um später tatsächlich auf die Musik und das Orchester reagieren zu können. Peters dazu: „Bisher brauchten wir die KI nicht, aber wir konnten bereits eine solide Datenbasis erstellen, mit deren Hilfe wir eine KI trainieren können. Hierbei lassen sich auch die Wahrnehmungen der Musiker mit einbauen.“