Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03440.jsonl.gz/1297

Zusammenfassung:
Forscher haben die Fähigkeit neuronaler Netzwerke verbessert, um komplexe Konzepte zu generalisieren. Ähnlich so, wie Menschen neue Konzepte erfassen und erweitern. Diese neue Technik mit der Bezeichnung „Meta-Learning for Compositionality“ (MLC) stellt die jahrzehntelange Skepsis gegenüber den Fähigkeiten künstlicher, neuronaler Netzwerke in Frage. Bei MLC wird das Neuro-Netzwerk durch episodisches Lernen trainiert, um seine Generalisierungsfähigkeiten zu verbessern.
Erstaunlicherweise konnte MLC bei verschiedenen Aufgaben die menschliche Leistung erreichen oder sogar übertreffen.
Die wichtigsten Fakten:
- Das MLC-Verfahren konzentriert sich auf das episodische Training neuronaler Netzwerke, so dass diese neue Konzepte, aufgrund ihrer Zusammensetzung, besser internalisieren können.
- Bei Aufgaben, die neuartige Wortkombinationen beinhalteten, war die Leistung von MLC gleichwertig oder besser als die der menschlichen Teilnehmer.
- Trotz seiner Fortschritte haben beliebte Modelle, wie ChatGPT und GPT-4, Probleme mit dieser Art der kompositorischen Generalisierung. MLC könnte jedoch eine Lösung sein, um ihre Fähigkeiten zu verbessern. (Quelle: NYU)
Menschen haben die Fähigkeit, ein neues Konzept zu lernen und es dann sofort zu nutzen, um verwandte Anwendungen dieses Konzepts zu verstehen – sobald Kinder wissen, wie man „hüpft“, verstehen sie, was es bedeutet, „zweimal durch den Raum zu hüpfen“ oder „mit erhobenen Händen zu hüpfen“.
Aber sind Maschinen zu dieser Art des Denkens fähig? In den späten 1980er Jahren stellten Jerry Fodor und Zenon Pylyshyn, Philosophen und Kognitionswissenschaftler, die These auf, dass künstliche neuronale Netzwerke – als Motoren der künstlichen Intelligenz und des maschinellen Lernens – nicht in der Lage sind, diese als „komplexe Zusammenhänge“ bezeichneten Verbindungen herzustellen.
In den vergangenen Jahrzehnten haben Wissenschaftler jedoch Wege entwickelt, um diese Fähigkeit in neuronale Netzwerke und verwandte Technologien einzubauen. Allerdings mit mäßigem Erfolg, so dass diese jahrzehntealte Debatte immer noch aktuell ist.
Forscher der New York University und der spanischen Universität Pompeu Fabra haben nun eine Technik entwickelt – veröffentlicht in der Fachzeitschrift „Nature“ -, die die Fähigkeit dieser Tools wie ChatGPT, komplexe Zusammenhänge zu generalisieren, weiter verbessert.
Diese Technik, „Meta-Learning for Compositionality“ (MLC) übertrifft bestehende Ansätze und ist der menschlichen Leistung ebenbürtig – in einigen Fällen sogar besser als diese. Bei MLC geht es darum, neuronale Netzwerke – die Motoren von ChatGPT und verwandten Technologien für die Spracherkennung und die Verarbeitung natürlicher Sprache – so zu trainieren, dass sie durch Übung in der komplexen Zusammenfügung optimiert werden.
Die Entwickler bestehender Systeme, einschließlich großer Sprachmodelle, haben gehofft, dass sich die komplexe Anwendung durch Standardtrainingsmethoden erschließt. Außerdem haben sie spezielle Systeme entwickelt, um diese Fähigkeiten zu erreichen. MLC hingegen zeigt, wie das explizite Üben dieser Fähigkeiten es diesen Systemen ermöglicht, neue Kräfte freizusetzen, bemerken die Autoren.
Brenden Lake, Assistenzprofessor am „Center for Data Science und am Department of Psychology“ der NYU, ist auch einer der Autoren der Studie. Er erklärt:
Seit 35 Jahren diskutieren Forscher in den Bereichen Kognitionswissenschaft, künstliche Intelligenz, Linguistik und Philosophie darüber, ob neuronale Netzwerke eine menschenähnliche systematische Generalisierung erreichen können.
Wir haben zum ersten Mal gezeigt, dass ein generisches neuronales Netzwerk die systematische Generalisierung des Menschen in einem direkten Vergleich nachahmen oder übertreffen kann.
Bei der Erforschung der Möglichkeit, das kompositorische Lernen in neuronalen Netzwerken zu verstärken, entwickelten die Forscher MLC, ein neuartiges Lernverfahren. Dabei wird ein neuronales Netzwerk kontinuierlich aktualisiert, um seine Fähigkeiten über eine Reihe von Episoden zu verbessern.
In einer Episode erhält MLC ein neues Wort und wird aufgefordert, es auf kompositionelle Weise zu verwenden – zum Beispiel das Wort „springen“ zu nehmen und dann neue Wortkombinationen zu bilden, wie „zweimal springen“ oder „zweimal rechts herum springen“. MLC erhält dann eine neue Folge mit einem anderen Wort und so weiter, wobei jedes Mal die Kompositionsfähigkeiten des Netzwerks verbessert werden.
Um die Wirksamkeit von MLC zu testen, führten Lake (Co-Direktor der NYU-Initiative „Minds, Brains, and Machines“) und Marco Baroni (Forscher am „Catalan Institute for Research and Advanced Studies“ und Professor am Fachbereich für Übersetzungs- und Sprachwissenschaften der Universität Pompeu Fabra), eine Reihe von Experimenten mit menschlichen Teilnehmern durch. Diese waren mit den von MLC gestellten Aufgaben identisch.
Anstatt die Bedeutung von Wörtern zu lernen – Begriffe, die die Menschen bereits kennen – mussten sie zusätzlich die Bedeutung von unsinnigen Begriffen (z. B. „zup“ und „dax“) lernen. Diese wurden von den Forschern definiert, da sie wissen, wie man diese Begriffe auf verschiedene Weise anwendet. MLC schnitt genauso gut ab wie die menschlichen Teilnehmer – und in einigen Fällen sogar besser, als ihre menschlichen Kollegen. MLC und die Menschen übertrafen auch ChatGPT und GPT-4. Trotz seiner bemerkenswerten allgemeinen Fähigkeiten, zeigte dieses Modell Schwierigkeiten bei dieser Lernaufgabe.
Baroni, Mitglied der Forschungsgruppe für Computerlinguistik und Linguistische Theorie der Universität Pompeu Fabra, bemerkt:
Große Sprachmodelle wie ChatGPT haben immer noch Probleme mit der kompositorischen Generalisierung, obwohl sie in den letzten Jahren besser geworden sind.
Wir glauben jedoch, dass MLC die Kompetenz zur Zusammenstellung großer Sprachmodelle weiter verbessern kann.
Quelle: Neuorscience