Untersuchung der Antwortqualität von ChatGPT bei der Lösung von juristischen Fällen unter dem Einfluss spezifischer Prompts
Creators: name: Füglistaler, Cynthia Alexandra
Publisher: name: ZHAW Zürcher Hochschule für Angewandte Wissenschaften
Year: 2024
Subjects: 006: Spezielle Computerverfahren
340: Recht

description: Im digitalen Zeitalter schreitet die Integration von künstlicher Intelligenz in alltägliche Prozesse unaufhaltsam voran. Die Untersuchung der Qualität der von ChatGPT generierten Antworten im juristischen Kontext ist daher von entscheidender Bedeutung, da sie die Möglichkeit bietet mag, den Alltag von Jurist:innen in Zukunft effizienter zu gestalten. Ziel dieser Arbeit war zu untersuchen, ob die Antwortqualität von ChatGPT durch den Einsatz spezifischer Prompts gesteigert werden kann. Dabei wurde auch die allgemeine Antwortqualität von ChatGPT bei der Beantwortung von juristischen Fragen und bei der Lösung juristischer Fälle untersucht. Die Untersuchung beschränkt sich auf einen Teil des Arbeitsrechts, nämlich darauf, ob eine Klausel im Arbeitsvertrag gültig ist oder nicht. Die Ergebnisse basieren auf 640 Antworten von ChatGPT.
Die Auswahl der Fragen und Fälle, welche ChatGPT gestellt wurden, erfolgte mit der gebotenen Sorgfalt. Die Fragen dienten dazu, die grundlegenden Kenntnisse von ChatGPT zu ermitteln, indem allgemeine Fragen zum Arbeitsrecht gestellt wurden. Die Fälle 5-7 beinhalten jeweils ein Rechtsproblem, während die Fälle 8-10 mindestens zwei Rechtsprobleme aufweisen. Die von ChatGPT generierten Antworten wurden einer Bewertung unterzogen, um zu demonstrieren, dass sich die Qualität der Antworten unter dem Einfluss spezifischer Prompts steigern lässt. Zu diesem Zweck wurde eine selbst entwickelte Bewertungsskala eingesetzt.
Die Untersuchung ergab zunächst, dass sich die Qualität der Antworten mit spezifischen Prompts in allen Fragen/Fällen im Gegensatz zu den Grundfragen/Grundfällen merklich höher war. In einem zweiten Schritt wurden die verwendeten Prompts untereinander verglichen, um festzustellen, ob unter den verwendeten Prompts ebenfalls ein Unterschied in der Antwortqualität besteht.
Die Auswertung der Daten ergab, dass bei den Fragen 1-2 zwischen den drei gestellten Prompts «Du bist Rechtsanwalt», «Du bist Partyplaner» und «Du bist an einer Quizshow» kein signifikanter Unterschied in der Antwortqualität festgestellt wurde. Demgegenüber lieferte der Prompt «Du bist Rechtsanwalt» in den Fragen 3-4 eine bessere Qualität der Antworten.
Deutlicher ist das Resultat für die Fälle 5-7: Hier steigerte der Prompt «Wie wäre die Beurteilung des folgenden Falles nach schweizerischem Arbeitsrecht» die Qualität der Antworten um über 40% im Vergleich zu den Grundfällen und um 4%-20% im Vergleich zu den anderen Prompts.
In den Fällen 8-10 stach der Prompt «Bitte berücksichtige bei der Analyse die geltenden arbeitsrechtlichen Bestimmungen des schweizerischen Arbeitsrechts zu (z.B. Diskriminierungsverbot), ob die folgende Klausel rechtsgültig ist:» hervor, welcher die Antwortqualität gegenüber anderen Prompts um 4%-6% und gegenüber den Grundfälle um über 30% verbesserte.
Die Untersuchung mündet in der Präsentation von einem Leitfaden, welcher den Nutzer:innen eine Optimierung der Antwortqualität ermöglichen soll. Die präsentierten Empfehlungen im Leitfaden umfassen diverse Tipps, wie beispielsweise, dass bei Rechtsfragen die Prompts klar formuliert werden müssen und sich auf ein Rechtsproblem beschränkt, um die Qualität der Antworten von ChatGPT zu steigern.
Die Beschränkung der Anzahl der erhobenen Daten auf 640 Antworten bedingt, dass die Ergebnisse nicht ohne weiteres auf andere Rechtsgebiete übertragbar sind. Dies bedeutet, dass weitere Forschungsarbeit erforderlich ist, um die Auswirkungen spezifischer Prompts vollständig zu verstehen. Eine Untersuchung oder Forschung im Rahmen dieser Arbeit wurde in der Schweiz bislang nicht durchgeführt.