Messung der Auswirkungen generativer KI in der Hochschulbildung

Vom Hype zum evidenzbasierten Lernen

Generative KI ist bereits fester Bestandteil des Studierendenalltags – ob für die Recherche, zum Zusammenfassen oder beim Verfassen von Texten. Inzwischen gehen Universitäten jedoch dazu über, diese Werkzeuge direkt in die Lehre zu integrieren. Das Projekt AIffectiveness, geleitet vom Bayerischen Forschungsinstitut für Digitale Transformation (bidt), blickt über Spekulationen hinaus, um die tatsächlichen Auswirkungen dieser Tools zu analysieren.

Am konkreten Beispiel von OneTutor, einem an der Technischen Universität München (TUM) entwickelten KI-Assistenten, begleiten wir den Rollout und die Nutzung generativer KI in verschiedensten Lehrveranstaltungen. Unser Ziel ist es, evidenzbasierte Erkenntnisse darüber zu gewinnen, an welchen Stellen KI-Tutoren das Lernerlebnis nachhaltig verbessern und wo sie noch weiterentwickelt werden müssen.

Ein multidimensionaler Forschungsansatz

Wir glauben nicht an ein einfaches „Ja oder Nein“ in Bezug auf die Effektivität von KI. Stattdessen analysieren wir den spezifischen Kontext: Gruppengröße, Fachbereich und das Gleichgewicht zwischen Faktenwissen und Argumentation.

• Praxisnaher Einsatz: Analyse der Nutzung an 10 Universitäten, von großen Vorlesungen bis hin zu kleinen Seminaren.
• Quantitative Befragungen: Erhebung von Daten zu studentischen Nutzungsgewohnheiten und Feedback der Lehrenden in regelmäßigen Abständen.
• Nutzungsanalysen: Einbindung direkter Daten aus dem „OneTutor“ -System, um das Engagement mit den Lernergebnissen zu korrelieren.
• Vertrauen und Co-Creation: Untersuchung, wie sich das Vertrauen von Studierenden und Dozenten in KI-Systeme im Laufe der Zeit entwickelt.

„Ich hoffe, dass wir am Ende genau verstehen, wo diese Systeme nützlich sind und wo nicht. Es geht nicht nur darum, ob es funktioniert, sondern in welchem Kontext - große Vorlesungen versus kleine Lehrveranstaltungen oder Faktenwissenschaften versus argumentative Disziplinen.“
Prof. Dr. Alexander Pretschner - Vorsitzender des bidt-Direktoriums & Lehrstuhl für Software & Systems Engineering, TU München

Partnerinstitutionen

• Technische Universität München
• Ludwig-Maximilians-Universität München
• Virtuelle Hochschule Bayern (vhb)
• Technische Universität Nürnberg
• Technische Hochschule Rosenheim
• Universität Augsburg
• Ostbayerische Technische Hochschule Amberg-Weiden
• Universität Bayreuth
• Hochschule Weihenstephan-Triesdorf
• Technische Hochschule Aschaffenburg

‍