„Mit der automatischen Simultanübersetzung haben wir gesprochene Vorträge einem internationalen Publikum nähergebracht. Dieses macht aber in der Regel nur 15 Prozent der Zuhörerschaft aus. Mit den neuen KI-Werkzeugen wollen wir nicht nur Sprach-, sondern auch Verständnisbarrieren abbauen“, sagt Alexander Waibel, Professor für Informatik am KIT. „Oft sind automatisch transkribierte Texte von gesprochener Sprache schwer zu lesen, da sie zu schnell fortlaufend ohne Absätze und Zwischenüberschriften als langer Text erscheinen – eben genau so, wie der Vortrag oder die Vorlesung mündlich vorgetragen wurde.“ Auch die Aufarbeitung der Vorlesung sei mühsam, da man die Vorlesung nach Verständnislücken durchsuchen müsse, so Waibel.
Bessere Übersicht in Dokumenten
Die Weiterentwicklung des Lecture Translators schafft hier Abhilfe. Die Forschenden haben mehrere neue automatische Funktionen wie ‚Smart Chaptering‘, ‚Summarization‘, ‚Q&A‘ oder ‚Auto-Links‘ entwickelt. Dabei verwandelt eine künstliche Intelligenz (KI), die automatisch die Sprache erkennt, den gesprochenen Text in ein Transkript in mehreren Sprachen und identifiziert automatisch Absätze, Kapitelüberschriften sowie wichtige Kernpunkte. Darüber hinaus erstellt sie eine akustische Wiedergabe, bei der Nutzerinnen und Nutzer eine von 18 Sprachen auswählen können. Außerdem zeigt das Programm automatisch Links als Querverweise zu relevanten Quellen in Vorlesungsskripten oder Wikipedia an, mit deren Hilfe die Studierenden die Vorlesung besser aufarbeiten können. „Mit unseren neuen KI-Modellen können Gespräche und Vorlesungen besser strukturiert und sogar Videos in leicht navigierbare Kapitel eingeteilt werden“, so Waibel. Somit sei ein besseres Verständnis nicht nur während, sondern auch nach der Vorlesung möglich.
Konkrete Anwendungsmöglichkeiten findet die Technologie etwa für Content Creator, Studierende, Lehrende und Podcaster, die ihre Audio- und Videoinhalte erstmals strukturieren können. Die Forschung fand im Projekt ‚How is AI Changing Science?‘ statt und wurde für vier Jahre von der Volkswagenstiftung gefördert.
www.kit.edu