title: Exploring the potential of large language models for integration into an academic statistical consulting service – EXPOLS : Zwischenbericht
Creators: name: Fichtner, Urs Alexander
name: Knaus, Jochen
name: Graf, Erika
name: Stelzer, Dominikus
name: Sahlmann, Joerg
name: Koch, Georg
name: Wolkewitz, Martin
name: Binder, Harald
name: Weber, Susanne
Publisher: name: Albert-Ludwigs-Universität Freiburg
Year: 2025
Subjects: subject: 610

description: Das Projekt EXPOLS untersucht die Integration von Künstlicher Intelligenz (KI), insbesondere von Large Language Modellen (LLMs), in den Arbeitsalltag von Forschenden an der Universi-tät und am Universitätsklinikum Freiburg. Es werden drei zentrale Fragen behandelt:
1. Wie können LLMs im Kontext der statistischen Beratung unterstützend eingesetzt werden?
2. Ist ein entwickeltes Lehrmodul über den Einsatz von LLMs in der Statistik für statistische Berater*innen und (zukünftige) Wissenschaftler*innen effizient und nachhaltig?
3. Welche Erfahrungen, Einstellungen, Ängste, Überzeugungen und aktuelle Praktiken in Bezug auf die Nutzung von LLMs gibt es an der Universität und am Universitätsklinikum Freiburg?
Das EXPOLS-Projekt besteht aus vier Studienteilen. Studienteile I bis III befassen sich mit den ersten beiden Forschungsfragen, die sich auf die Integration von LLMs (in diesem Fall vorrangig OpenAI ChatGPT) in das statistische Beratungsangebot am Institut für Medizinische Bio-metrie und Statistik (IMBI) beziehen (Studienteil I: Sicht der Berater*innen, Studienteil II: Eva-luation des entwickelten Lehrmoduls, Studienteil III: Sicht der Ratsuchenden). Studienteil IV besteht aus einer breiten, standardisierten Befragung von Mitarbeitenden der Universität und des Universitätsklinikums in Freiburg, die in ihrer Tätigkeit einen Bezug zur Wissenschaft haben.
Dieser Zwischenbericht präsentiert erste Ergebnisse der Studienteile I, II, und IV. Zunächst werden in Kapitel 1-4 die Hintergründe, Forschungsfragen, Studiendesign und eingesetzte Methoden erläutert. Kapitel 5 fasst die jeweiligen aktuellen Projektergebnisse zusammen, gegliedert in Unterkapitel nach Studienteilen (insbesondere finden sich die Ergebnisse zur universitäts- und klinikweiten Umfrage in Kapitel 5.4)
Für Studienteil I zeigen die ersten Analysen, dass LLMs nach Absolvieren der Schulung auf Platz 3 der am meisten genutzten Informationsquellen der statistischen Berater*innen rangieren (siehe Seite 22). Die Bereitschaft der Berater*innen zur Nutzung von KI ist moderat und die Usability von ChatGPT wird als mittelmäßig hoch bewertet (siehe Seite 24). Hauptsorgen bei der Nutzung von KI in der statistischen Beratung betreffen Fehlinformationen, Qualitätsmängel und Abhängigkeit von Künstlicher Intelligenz. Gleichzeitig bieten KI-Tools Vorteile hin-sichtlich Effizienz und Wissensgenerierung (siehe Seite 27, 29).
Die Evaluation der durchgeführten Schulung fällt für Struktur und Inhalte positiv aus. Verbesserungspotential gibt es bezüglich einer stärkeren Praxisnähe bei den Übungen und einer Erweiterung des Zeitrahmens (siehe Seite 35).
Erste Analysen des Studienteils IV zeigen, dass die Nutzung KI-basierter Tools nach Geschlecht, Berufsgruppe und Berufserfahrung variiert. Die Einsatzgebiete von KI/LLMs unter den Befragten sind vielfältig, am Häufigsten wird Übersetzung, Texterstellung sowie Textanalyse und -verarbeitung genannt. (siehe Seite 43, 48, 53).
Es besteht ein akuter Bedarf an klaren Richtlinien und Schulungen zu Einsatzgebieten, rechtlichen Aspekten und spezifischen Tools, wobei für Schulungen Online-Module mit praxisnahen Inhalten bevorzugt werden (siehe Seite 65, 71).
4
Aus Sicht der Befragten steigert KI die Effizienz und Kreativität, birgt jedoch Risiken wie Datenschutzprobleme, Kompetenzverlust und gesteigerten Leistungsdruck (siehe Seite 58, 61).
In der Lehre werden Vorteile wie Qualitätssteigerung betont, aber auch Herausforderungen wie Ungleichheit und wissenschaftliches Fehlverhalten diskutiert (siehe Seite 76, 79). Der Einsatz von KI in der Patient*innenversorgung ist bisher gering (siehe Seite 81).
Diese Ergebnisse liefern wichtige Erkenntnisse darüber, wie die Integration von KI, bzw. LLMs in den Arbeitsalltag an Universitäten oder Universitätskliniken erfolgreich gestaltet werden kann und wo weiterer Handlungsbedarf besteht. In der nächsten Phase wird die Datenerhebung zu Studienteil I und III abgeschlossen, um darauf aufbauend die finalen Analysen durchzuführen. Insbesondere zu Studienteil IV werden tiefergehende Analysen folgen.