Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03280.jsonl.gz/1769

Allgemeine Unterschiede
Bevor wir zu den Ergebnissen der von Moonshot durchgeführten Analyse kommen, werfen wir noch schnell einen Blick auf die allgemeinen Unterschiede zwischen den beiden Konkurrenten.
1. Unterschiede im Sprachmodell
Sowohl ChatGPT als auch Bard basieren auf einem Large Language Model (LLM). LLMs sind Computerprogramme, die eine Frage „verstehen“ und vorhersagen können, welche Wörter zur Beantwortung der Frage verwendet werden sollten. Diese Programme können in Sekundenschnelle eine Antwort generieren, die von einem Satz bis hin zu einem ganzen Buch reichen kann.
Das LLM basiert auf künstlichen neuronalen Netzen, die mit fortlaufender Praxis und Erfahrung dazulernen. Sie laufen auf Supercomputern und wurden mit Millionen und sogar Billionen von Parametern trainiert.
Google hat LLMs mit der Entwicklung des Transformer-Modells im Jahr 2017 gewissermassen erfunden: Das „T“ in GPT steht für Transformer. Das Transformer-Modell war ein Durchbruch, da es nicht wie seine Vorgänger einen Satz sequentiell analysieren muss, sondern die Vorteile der Parallelverarbeitung nutzt. Dies gibt einem LLM die Fähigkeit, im Vergleich zu seinen Vorgängern mit viel grösseren Datenmengen trainiert zu werden.
OpenAI hat das Transformer-Modell optimiert und Reinforced Learning with Human Feedback (RLHF) implementiert, um dem Modell zu helfen, natürlichere Antworten zu generieren. OpenAI veröffentlichte bereits im Jahr 2018 sein eigenes LLM: GPT-1. Es wurde anhand von 177 Millionen Parametern trainiert. Seitdem hat es seine Modelle auf immer mehr Parametern trainiert und verfeinert. GPT-4 wurde im März 2023 veröffentlicht und wird mit über 100 Billionen Parameter trainiert – eine erhebliche Steigerung in den letzten 5 Jahren.
Bard nutzt Googles LLM namens LaMDA. Im Gegensatz zu GPT ist LaMDA speziell auf Konversationstexte trainiert. Es werden weniger Parametern trainiert als beim GPT-4 (137 Milliarden gegenüber 100+ Billionen), allerdings sind die Antworten eher auf Gespräche ausgerichtet. LaMDA verwendet kein RLHF, sondern verlässt sich bei der Feinabstimmung seiner Antworten auf drei Metriken („Qualität, Sicherheit und Bodenständigkeit“). Zur Kalibrierung dieser Metriken wurde menschliches Feedback genutzt.
Nutzer werden feststellen, dass die Antworten von ChatGPT detaillierter und genauer sind und sich perfekt für strukturierte und schriftliche Antworten eignen, während Bard eher wie ein Gesprächspartner klingt. Dies wurde in den Werbespots rund um die Veröffentlichung von Bard deutlich, als der KI-Bot eine falsche Antwort auf eine Frage zum James-Webb-Teleskop gab, woraufhin die Marktkapitalisierung von Google um USD 100 Milliarden abstürzte.