Sprachbasierte KIs haben verborgene Moral- und Wertevorstellungen

Die jüngste Forschung von Wissenschaftlerinnen der Universität Mannheim und des GESIS – Leibniz-Instituts für Sozialwissenschaften offenbart, dass kommerzielle KI-Systeme wie ChatGPT und DeepL oftmals geschlechtsspezifische Stereotype reproduzieren. So wird beispielsweise angenommen, dass Ärztinnen männlich und Pflegekräfte weiblich sind. Diese Tendenz beschränkt sich jedoch nicht nur auf Geschlechterrollen, sondern erstreckt sich auch auf andere menschliche Eigenschaften, wie die Studie anhand verschiedener öffentlich zugänglicher Großsprachmodelle (Large Language Models, LLMs) zeigt.

Mithilfe etablierter psychologischer Tests untersuchten die Forschenden die Eigenschaftsprofile dieser LLMs und stellten vergleichende Analysen an. Max Pellert, Assistenzprofessor am Lehrstuhl für Data Science in den Wirtschafts- und Sozialwissenschaften der Universität Mannheim, betont die Übertragbarkeit dieser psychometrischen Tests, die seit Jahrzehnten beim Menschen angewendet werden, auf KI-Modelle. Nach Ansicht von Clemens Lechner, Psychologe am GESIS – Leibniz-Institut, ermöglicht dies die Erstellung differenzierter Profile von KI-Modellen, indem man sie ähnlich wie bei Menschen durch Fragebogen beantworten lässt.

Die Studienergebnisse zeigen, dass LLMs genderspezifische Vorurteile aufweisen. So wird in identischen Texten, die sich nur durch das Geschlecht der zentralen Figur unterscheiden, der Wert »Achievement« bei Männern stärker hervorgehoben, während bei Frauen die Aspekte Sicherheit und Tradition dominieren. Pellert warnt vor den gesellschaftlichen Auswirkungen solcher Vorurteile, insbesondere wenn KI-Modelle in Bereichen wie Bewerbungsverfahren zum Einsatz kommen. Er plädiert für frühzeitige Untersuchungen und das Aufzeigen potenzieller Verzerrungen, um einer Verfestigung dieser Vorurteile entgegenzuwirken.

Die Studie entstand in Zusammenarbeit der Lehrstühle für Data Science, Survey Design und Methodology sowie Computational Social Science an der Universität Mannheim und am GESIS – Leibniz-Institut für Sozialwissenschaften, unter der Leitung von Prof. Dr. Markus Strohmaier, Prof. Dr. Beatrice Rammstedt, Prof. Dr. Claudia Wagner und Prof. Dr. Sebastian Stier.

Die Ergebnisse der Untersuchung sind im renommierten Fachjournal »Perspectives on Psychological Science« erschienen:
Pellert, M., Lechner, C. M., Wagner, C., Rammstedt, B., & Strohmaier, M. (2024). AI Psychometrics: Assessing the Psychological Profiles of Large Language Models Through Psychometric Inventories. Perspectives on Psychological Science.