Measuring the impact of generative AI in higher education

From hype to evidence-based learning

Generative KI ist bereits fester Bestandteil des Studierendenalltags – ob für die Recherche, zum Zusammenfassen oder beim Verfassen von Texten. Inzwischen gehen Universitäten jedoch dazu über, diese Werkzeuge direkt in die Lehre zu integrieren. Das Projekt AIffectiveness, geleitet vom Bayerischen Forschungsinstitut für Digitale Transformation (bidt), blickt über Spekulationen hinaus, um die tatsächlichen Auswirkungen dieser Tools zu analysieren.

Am konkreten Beispiel von OneTutor, einem an der Technischen Universität München (TUM) entwickelten KI-Assistenten, begleiten wir den Rollout und die Nutzung generativer KI in verschiedensten Lehrveranstaltungen. Unser Ziel ist es, evidenzbasierte Erkenntnisse darüber zu gewinnen, an welchen Stellen KI-Tutoren das Lernerlebnis nachhaltig verbessern und wo sie noch weiterentwickelt werden müssen.

A multi-dimensional research approach

Wir glauben nicht an ein einfaches „Ja oder Nein“ in Bezug auf die Effektivität von KI. Stattdessen analysieren wir den spezifischen Kontext: Gruppengröße, Fachbereich und das Gleichgewicht zwischen Faktenwissen und Argumentation.

• Praxisnaher Einsatz: Analyzing usage across 10 universities, from large lectures to small seminars.
• Quantitative Befragungen: Erhebung von Daten zu studentischen Nutzungsgewohnheiten und Feedback der Lehrenden in regelmäßigen Abständen.
• Usage Analytics: Incorporating direct data from the "OneTutor" system to correlate engagement with learning outcomes.
• Trust & Co-Creation: Investigating how trust in AI systems evolves over time among students and faculty.

„Ich hoffe, dass wir am Ende genau verstehen, wo diese Systeme nützlich sind und wo nicht. Es geht nicht nur darum, ob es funktioniert, sondern in welchem Kontext - große Vorlesungen versus kleine Lehrveranstaltungen oder Faktenwissenschaften versus argumentative Disziplinen.“
Prof. Dr. Alexander Pretschner - Vorsitzender des bidt-Direktoriums & Lehrstuhl für Software & Systems Engineering, TU München

Partner institutions

• Technische Universität München
• Ludwig-Maximilians-Universität München
• Virtuelle Hochschule Bayern (vhb)
• Technische Universität Nürnberg
• Technische Hochschule Rosenheim
• Universität Augsburg
• Ostbayerische Technische Hochschule Amberg-Weiden
• Universität Bayreuth
• Hochschule Weihenstephan-Triesdorf
• Technische Hochschule Aschaffenburg

‍