Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03317.jsonl.gz/2546

Forschung - 11.04.2023 - 16:00
Künstliche Intelligenz (KI), die sich sprachlich äussert, lässt aufhorchen. Was geschieht also, wenn KI nach den richtigen Worten sucht? Ein Schlüssel zur Antwort auf diese Frage liegt in der sogenannten semantischen Aktivierung. Untersuchungen an GPT-3 geben Aufschluss. GPT-3 stellt die Grundarchitektur für ChatGPT dar, jene auf Gespräche angelegte KI, die seit November 2022 weltweit in aller Munde ist.
Semantische Aktivierung erfolgt, wenn das Gehirn beim Hören oder Lesen von Wörtern automatisch an verwandte Begriffe denkt. Auf die Frage «Was trinken Kühe?» antworten Menschen zum Beispiel eher mit «Milch» als mit «Wasser» (nur Kälber trinken Milch), was zeigt, dass «Kuh» und «trinken» das Wort «Milch» im semantischen Gedächtnis aktivieren. GPT-3 nun zeigt ähnliche semantische Aktivierungsmuster wie Menschen, allerdings mit einer signifikant höheren Aktivierung bei verwandten Wortpaaren (z.B. «Limette–Zitrone») als bei nicht verwandten Paaren (z.B. «Tourist-Zitrone»).
Obwohl GPT-3 menschenähnliche Sprachmuster zeigt, wird die semantische Aktivierung bei GPT-3 stärker durch die Ähnlichkeit der Wortbedeutung («Limette–Zitrone», «Tag–Nacht») bestimmt als durch die Verbindung von Worten (Wortpaaren), die häufig zusammen verwendet werden (z.B. «weg–gehen» oder «unter–suchen»). Dabei zeichnet sich ab: Je fortschrittlicher die Sprachmodelle werden, desto ausgeprägter werden die Unterschiede zum Menschen. Daher ist anzunehmen, dass die skizzierten Ergebnismuster bei GPT-4, der noch nicht öffentlich erhältlichen Folgeversion von GPT-3, noch stärker ausfallen werden.
Die Befunde zeigen auf der einen Seite, wie das Studium von Sprachmodellen wie GPT-3 dazu beitragen könnte, unser Verständnis von menschlicher Sprache zu verbessern. Denn Sprachmodelle werden darauf trainiert, menschliches Verhalten (hier: Sprache) zu imitieren. Sie könnten also auch als Modellteilnehmer in psycholinguistischen Studien eingesetzt werden. Solche Studien helfen, besser zu verstehen, wie Sprache im menschlichen Gehirn verarbeitet und repräsentiert wird.
Hilfreich für Untersuchungen ist auch, dass Sprachmodelle, anders als Menschen, nicht unter Ermüdung und Motivationsmangel leiden. Sie können tausende von Aufgaben pro Minute ausführen. Die Erforschung von Sprachmodellen könnte das Verständnis der Mechanismen und Prozesse im menschlichen Gehirn aber auch fördern, weil künstliche neuronale Strukturen leichter zu untersuchen sind als biologische.
Auf der anderen Seite gilt es jedoch zu beachten, dass Verhaltensweisen von Sprachmodellen zuweilen signifikant von denen bei Menschen abweichen – trotz erster oberflächlicher Ähnlichkeit. Daher ist es schwierig, Sprachmodelle wie GPT-3 zu nutzen, um menschliches Verhalten oder geistige Repräsentation zu untersuchen, da die zugrundeliegenden KI-Mechanismen teilweise von den menschlichen abweichen. Die Unterschiede in künstlicher und menschlicher Sprachproduktion können jedoch wertvolle Hinweise für die Weiterentwicklung jener Sprachmodelle bieten, um die Sprachgenerierung noch näher an die menschliche zu bringen. Was die Untersuchung von KI und Sprache so faszinierend macht, ist der Gedanke an konvergente Evolution – dem Phänomen, dass nicht verwandte Arten wie beispielsweise Vögel und Fledermäuse unabhängig voneinander ein gleiches Merkmal (hier: Flügel) entwickelt haben, um ähnliche Herausforderungen in ihrer Umwelt zu bewältigen. Womöglich erleben wir aktuell eine ähnliche Entwicklung zwischen Menschen und KI.
Der Aufsatz «Overlap in meaning is a stronger predictor of semantic activation in GPT-3 than in humans» auf der Webseite des Wissenschaftsjournals NATURE steht zum Download zur Verfügung. Weitere Informationen zum Institute of Behavioral Science and Technology (IBT-HSG): ibt.unisg.ch
Bild: Adobe Stock / peshkova
Weitere Beiträge aus der gleichen Kategorie
Die Schweizer Bevölkerung nutzt erstmals seit der Coronapandemie wieder deutlich weniger oft Bargeld. Mobiles Bezahlen wächst hingegen stetig und wird…
Wenn Startups zu schnell gross werden, kann das zu Problemen führen. HSG-Forschende haben darum den «Scale-up Navigator» veröffentlicht. Dieser zeigt…
Der Beginn des russischen Angriffskrieges gegen die Ukraine vor fast zwei Jahren hat weltweit zu einem kollektiven Einbruch des Wohlbefindens geführt…
Das Institut für Politikwissenschaft der Universität St.Gallen (IPW-HSG), vertreten durch Prof. James W. Davis, kündigt gemeinsam mit der Münchner…
Entdecken Sie unsere Themenschwerpunkte