DOI: 10.4232/1.14529
title: Data Discovery with Large Language Models
title: Data Discovery with Large Language Models

description: Zielsetzung: Das Ziel dieser Studie ist es, das Verhalten bei der Datensuche mit Hilfe von Large Language Models (LLMs) zu untersuchen.
Methode: Wir rekrutierten 32 Forscher, indem wir persönliche Kontakte ansprachen und Beiträge in verschiedenen Mailinglisten und sozialen Medien veröffentlichten. Einzelinterviews mit einem Teilnehmer und einem Interviewer wurden zwischen dem 7. Februar und dem 4. März 2025 über Zoom durchgeführt. Während der Einzelgespräche führten die Teilnehmer zwei Datensuchaufgaben mit einem LLM (ChatGPT Scholar GPT oder Perplexity) über einen Fernzugang in Zoom durch. In der ersten Aufgabe baten wir sie, die Suche mit dem ihnen präsentierten LLM durchzuführen (ungeführte Aufgabe). In der zweiten Aufgabe (geführte Aufgabe) ließen wir den LLM als Persona auftreten und baten die Teilnehmer, sich vorzustellen, sie würden mit ihrer Kollegin Leslie chatten. Während sie nach Daten suchten, benutzten die Teilnehmer Think-Aloud.
Inhalt des Fragebogens: Jede Sitzung begann mit einem mündlichen Eingangsinterview. Nach jeder Datensuchaufgabe füllten die Teilnehmer zwei Fragebögen zur Benutzererfahrung aus (User Experience Questionnaire (UEQ) und NASA Task Load Index (NASA-TLX)) und beantworteten weitere Interviewfragen zur Suche mündlich. In einem kurzen Hintergrundfragebogen am Ende fragten wir nach Erfahrungen bei der Arbeit mit und der Suche nach Forschungsdaten sowie nach grundlegenden demografischen Daten.
description: Objective: The goal of this study is to investigate data search behaviour using Large Language Models (LLMs). 
Method: We recruited 32 researchers by reaching out to personal contacts, posting to various mailing lists and on social media. One-on-one interviews with one participant and one interviewer were conducted via Zoom between February 7th and March 4th, 2025. During the one-on-one sessions, participants performed two data search tasks with an LLM (ChatGPT Scholar GPT or Perplexity) via remote access in Zoom. In the first task we asked them to conduct the search with the LLM presented to them (unguided task). In the second task (guided task), we prompted the LLM to behave as a persona and asked participants to imagine they were chatting with their colleague Leslie. While searching for data, the participants used Think-Aloud.
Questionnaire Content: Each session started with an initial oral interview. After each data search task, participants filled out two user experience questionnaires (User Experience Questionnaire (UEQ) and the NASA Task Load Index (NASA-TLX)) and additional interview questions about the search were answered verbally. In a short background questionnaire at the end we asked about experience in working with and searching for research data and basic demographics.
description: Online-Interviews und Bearbeitung von Datensuchaufgaben mit einem LLM (ChatGPT Scholar GPT oder Perplexity) über Fernzugriff, Think-Aloud-Technik während der Suchaufgaben; Fragebögen zur Benutzererfahrung (UEQ und NASA-TLX) und kurzer Hintergrundfragebogen über Fernzugriff
description: Online interviews and completion of data search tasks with an LLM (ChatGPT Scholar GPT or Perplexity) via remote access, Think-Aloud Technique during search tasks; User experience questionnaires (UEQ and NASA-TLX) and short background questionnaire via remote access
description: Forscher, die in der Vergangenheit nach Forschungsdaten gesucht haben
description: Researchers who have searched for research data in the past
description: Auswahlverfahren Kommentar: Nicht-Wahrscheinlichkeitsstichprobe - Zufallsstichprobe: Ein Aufruf zur Teilnahme wurde über persönliche Kontakte, Mailinglisten verschiedener Forschungsbereiche und über soziale Medien (BlueSky und Mastodon) verbreitet.