In einem veröffentlichten Forschungspapier beschreiben die Forscher das generative Pretraining als die Fähigkeit, Sprachmodelle mit unbeschrifteten Daten zu trainieren und genaue Vorhersagen zu treffen. Das erste GPT-Modell, GPT-1, wurde 2018 entwickelt. GPT-4 wurde im März 2023 als Nachfolger von GPT-3 eingeführt.
GPT-3 wurde mit über 175 Milliarden Parametern oder Gewichten trainiert. Ingenieure haben es anhand von über 45 Terabyte an Daten aus Quellen wie Webtexten, Common Crawl, Büchern und Wikipedia trainiert. Vor dem Training wurde die durchschnittliche Qualität der Datensätze verbessert, da das Modell von Version 1 auf Version 3 ausgereift war.
GPT-3 wurde im halbüberwachten Modus trainiert. Zunächst fütterten die Ingenieure für Machine Learning das Deep-Learning-Modell mit den unbeschrifteten Trainingsdaten. GPT-3 würde die Sätze verstehen, sie aufschlüsseln und sie zu neuen Sätzen rekonstruieren. Im unbeaufsichtigten Training versuchte GPT-3, selbst genaue und realistische Ergebnisse zu erzielen. Anschließend würden Ingenieure für Machine Learning die Ergebnisse im überwachten Training verfeinern, ein Prozess, der als Verstärkungslernen mit menschlichem Feedback (RLHF) bekannt ist.
Sie können die GPT-Modelle ohne weitere Schulung verwenden oder sie mit einigen Beispielen für eine bestimmte Aufgabe anpassen.