Schematische Darstellung eines Selbstadaptiven Systems und die Automatisierung durch Künstliche Intelligenz (in blau). – Bild: Paluno – Kontakt paluno The Ruhr Institute for Software Technology 
Lernverhalten für selbstadaptive Web-Anwendung (rot = Verlauf der Höhe des Feedbacks; blau und schwarz = Änderung der Umgebungssituationen; grün = Adaptionen) Lernverhalten für selbstadaptive Web-Anwendung (rot = Verlauf der Höhe des Feedbacks; blau und schwarz = Änderung der Umgebungssituationen; grün = Adaptionen). – Bild: paluno – The Ruhr Institute for Software Technology
Wir leben heute in einer schnelllebigen, vernetzten Welt. In dieser Welt wächst der Bedarf an selbstadaptiver Software, also Software, die in der Lage ist, sich selbstständig an wechselnde Umgebungssituationen anzupassen. Beispiele sind schwankende Übertragungsbandbreiten, eine wechselnde Anzahl von Nutzern oder sich ändernde Benutzerpräferenzen.
Eine wesentliche Aufgabe bei der Entwicklung selbstadaptiver Software ist vorzugeben, wann und wie eine Anpassung erfolgen soll. Für Software-Ingenieure ist das schwierig, weil sie zum Zeitpunkt der Entwicklung meist nicht alle möglichen Umgebungssituationen der Software vorhersehen können. Dieser Herausforderung begegnen die Wissenschaftler aus der Paluno-Arbeitsgruppe von Prof. Klaus Pohl mit dem Einsatz von Online Reinforcement Learning, einem Verfahren der künstlichen Intelligenz. Die Idee dahinter: Die Software lernt selbst, welche Anpassung in welcher Situation die beste ist, indem sie Feedback zur Laufzeit sammelt und auswertet. Gute Anpassungen führen zu positivem Feedback, umgekehrt bedeuten schlechte Anpassungen ein negatives Feedback. So lernt die Software durch Ausprobieren, möglichst gutes Feedback zu sammeln. Damit wird die bisherige manuelle Tätigkeit der Software-Ingenieure, festzulegen wann und wie eine Anpassung erfolgen soll, von der Künstlichen Intelligenz übernommen.
„Bisherige Methoden des Online Reinforcement Learning haben jedoch noch einen Haken“, sagt Dr. Andreas Metzger, Leiter des Bereichs Adaptive Systeme bei Paluno. „Die sogenannte Explorationsrate muss manuell feinjustiert werden. Das ist die Wahrscheinlichkeit, dass die Software eine neue Anpassung ausprobiert, anstatt sich auf bekannte, sichere Anpassungen zu beschränken.“ Weil das auf Kosten der Automatisierbarkeit geht, setzt das Paluno-Team einen neuartigen Lernalgorithmus ein: Dieser wird Policy-based Reinforcement Learning genannt und kommt ohne eine Feinjustierung der Explorationsrate aus. Erste Tests bei selbstadaptiven Systemen aus den Bereichen des Geschäftsprozessmanagements und der Web-Anwendungen zeigten, dass die Software mit Hilfe dieses Algorithmus in der Lage ist, für unterschiedliche Umgebungssituationen jeweils geeignete Anpassungen zu lernen. Ihre Erkenntnisse wollen die Wissenschaftler nun auch für die Entwicklung von selbstadaptiven Transportmanagement-Systemen und Smart-Home-Systemen anwenden. Gemeinsam mit europäischen Partnern adressieren sie diese Bereiche in den EU-Projekten DataPorts und ENACT.