Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03648.jsonl.gz/3195

Künstliche Intelligenz 16.01.2024, 08:09 Uhr
KI kapituliert bei Grammatikfehlern fast immer
GPT3 und GP3.5 wissenschaftlich getestet - Menschen stechen Sprachmodelle noch aus.
Künstliche Intelligenz (KI) kapituliert bei Grammatikfehlern. Das haben Forscher der Humboldt-Universität zu Berlin, der Universitat Autònoma de Barcelona (UAB) und des Catalan Institute of Research and Advanced Studies herausgefunden. Sie haben die Fähigkeiten des Menschen mit den drei besten derzeit verfügbaren grossen Sprachmodellen verglichen, zwei basierend auf GPT3 und eines (ChatGPT) basierend auf GP3.5.
Viele falsche Antworten
Die Forscher haben menschlichen Probanden und den KI-gestützten Sprachmodellen korrekt formulierte und fehlerhafte Sätze vorgelegt und sie anschliessend mit folgenden Fragen konfrontiert: "Ist dieser Satz grammatikalisch korrekt?" Es zeigte sich, dass Menschen fast immer richtig antworteten, während die grossen Sprachmodelle viele falsche Antworten gaben.
Tatsächlich wurde festgestellt, dass sie die Standardstrategie verwendeten, meistens mit "Ja" zu antworten, unabhängig davon, ob die Antwort richtig war oder nicht. "Das Ergebnis ist überraschend, da diese Systeme auf der Grundlage dessen trainiert werden, was in einer Sprache grammatikalisch korrekt ist und was nicht. KI-Sprachmodelle können sehr hilfreich sein, aber wir müssen uns ihrer Mängel bewusst sein", mahnt Evelina Leivada von der Abteilung für Katalanistik der UAB.