Große Sprachmodelle wie ChatGPT oder PaLM 2 versprechen mächtige KI-Lösungen für Wirtschaft und Gesellschaft. Ihre Ergebnisse sind jedoch nicht immer nachvollziehbar, oft fehlerhaft oder mit Vorurteilen behaftet. Expertinnen und Experten der Plattform Lernende Systeme sehen die Forschung in Deutschland in einer guten Ausgangsposition, um die technischen Herausforderungen der KI-Technologie anzugehen, sie im Sinne europäischer Werte zu entwickeln und so ihre Potenziale für Deutschland und Europa auszuschöpfen. Voraussetzung dafür sei ein europäisches Ökosystem für die Entwicklung großer Sprachmodelle sowie eine anwendungsnahe Forschung, die den Transfer in die industrielle Praxis erleichtere, so die Experten der Plattform. In einem aktuellem Whitepaper benennen sie die dringlichsten Forschungsbedarfe und Handlungsoptionen.
Durch außereuropäische Forschung geprägt
Obwohl deutsche Forscherinnen und Forscher an vielen Stellen an der Entwicklung großer Sprachmodelle beteiligt sind, dürfe die Forschung und Entwicklung in Deutschland in diesem dynamischen Forschungsfeld, das stark durch außereuropäische Akteure und große Technologieunternehmen geprägt wird, nicht den Anschluss verlieren, heißt es in dem Whitepaper. „Wenn wir Sprachmodelle für Anwendungen in und aus Europa nutzen wollen, brauchen wir europäische Sprachmodelle, die die hiesigen Sprachen beherrschen, die Bedürfnisse unserer Unternehmen und ethischen Anforderungen unserer Gesellschaft berücksichtigen. Aktuell werden die Sprachmodelle aber von amerikanischen und chinesischen Tech-Riesen erstellt – und kontrolliert“, so Volker Tresp, Professor für Maschinelles Lernen an der Ludwig-Maximilians-Universität München und Leiter der Arbeitsgruppe Technologische Wegbereiter und Data Science der Plattform Lernende Systeme.
Wie steht es um
deutsche Sprachmodelle?
Aktuell gibt es nur wenige einsprachige, sogenannte monolinguale Modelle, die auf ausschließlich deutschen Textdaten beruhen. Auch Modelle, die domänen-spezifische Sprache sensibler Anwendungsbereiche wie Medizin und Justiz berücksichtigen, sind nicht verbreitet. Viele bedeutende, mehrsprachige Modelle wie GPT-4 sind hingegen für die öffentliche Forschung meist nicht offen zugänglich.
„Enormes Potenzial“
„Sprachmodelle verfügen über ein enormes wirtschaftliches Potenzial. Für einen Großteil der deutschen Unternehmen ist es aber nicht rentabel, Sprachmodelle für den Einsatz im eigenen Betrieb aufzubauen. Leider existiert derzeit jedoch kein ausreichend leistungsfähiges und kommerziell nutzbares Modell für die deutsche Sprache. Wir benötigen daher offen zugängliche Modelle – insbesondere auch für die deutsche Sprache – sowie Methoden, mit denen sich diese kostengünstig an die spezifischen Anforderungen verschiedener Industriezweige anpassen lassen“, sagt Alexander Löser, Gründer und Sprecher des Forschungszentrums Data Science an der Berliner Hochschule für Technik und Mitglied der Arbeitsgruppe Technologische Wegbereiter und Data Science.
Plattform Lernende Systeme