Beispiele für Stereotypen findet man bei kommerziellen KI-gestützten Anwendungen wie ChatGPT oder deepl, die oft automatisch annehmen, dass leitende Ärzte männlich und Pflegekräfte weiblich sind. Doch nicht nur bei Geschlechterrollen können große Sprachmodelle (Large Language Models, LLMs) bestimmte Tendenzen zeigen. Auch für andere menschliche Merkmale ist dies messbar. Das haben Forschende der Universität Mannheim und des Gesis– Leibniz-Instituts für Sozialwissenschaften in einer Studie anhand einer Reihe von offen verfügbaren LLMs aufgezeigt.
Die Forschenden untersuchten mithilfe von etablierten psychologischen Tests die Profile der unterschiedlichen LLMs und verglichen diese miteinander. „In unserer Studie zeigen wir, dass man psychometrische Tests, die seit Jahrzehnten erfolgreich bei Menschen angewendet werden, auch auf KI-Modelle übertragen kann“, betont Studienautor Max Pellert, Assistenzprofessor am Lehrstuhl für Data Science in den Wirtschafts- und Sozialwissenschaften der Universität Mannheim.
„Ähnlich wie wir bei Menschen Persönlichkeitseigenschaften, Wertorientierungen oder Moralvorstellungen durch Fragebogen messen, können wir LLMs Fragebogen beantworten lassen und ihre Antworten vergleichen“, so der Psychologe Clemens Lechner vom Gesis in Mannheim, ebenfalls Autor der Studie. Dies mache es möglich, differenzierte Eigenschaftsprofile der Modelle zu erstellen. Die Forschenden konnten beispielsweise bestätigen, dass manche Modelle genderspezifische Vorurteile reproduzieren: Wenn im ansonsten gleichen Text eines Fragebogens einmal eine männliche und einmal eine weibliche Person im Mittelpunkt steht, werden diese unterschiedlich bewertet. Handelt es sich um einen Mann, so wird der Wert ‚Achievement‘ – also Leistung – im Text stärker betont, wohingegen bei Frauen die Werte Sicherheit und Tradition dominieren.
Dies könne weitreichende Auswirkungen auf die Gesellschaft haben, Pellert. Werden Sprachmodelle beispielsweise in Bewerbungsverfahren eingesetzt, und die Maschine voreingenommen, fließt das in die Bewertung ein. „Die Modelle bekommen eine gesellschaftliche Relevanz über die Kontexte, in denen sie eingesetzt werden“, fasst er zusammen. Deshalb sei es wichtig, bereits jetzt mit der Untersuchung anzufangen und auf potenzielle Verzerrungen hinzuweisen. In fünf oder zehn Jahren wäre es möglicherweise zu spät für so ein Monitoring: „Die Vorurteile, welche die KI-Modelle reproduzieren, würden sich verfestigen und der Gesellschaft schaden“, so Pellert.
Die Studie wurde am Lehrstuhl für Data Science in den Wirtschafts- und Sozialwissenschaften von Prof. Dr. Markus Strohmaier in Zusammenarbeit der Abteilung Survey Design und Methodology von Prof. Dr. Beatrice Rammstedt durchgeführt.