ChatGPT to konwersacyjny model sztucznej inteligencji opracowany przez OpenAI w oparciu o architekturę Generative Pretrained Transformer 3 (GPT-3). Model został przeszkolony w zakresie różnorodnych tekstów internetowych, co pozwoliło mu generować tekst podobny do ludzkiego w odpowiedzi na podane mu podpowiedzi.
Gdy użytkownik wprowadza dane wejściowe, model przetwarza tekst i generuje odpowiedź, przewidując najbardziej prawdopodobne następne słowo na podstawie danych wejściowych i danych treningowych. Odpowiedź jest następnie generowana przez próbkowanie z najlepszych prognoz. Cały proces jest wykonywany przez model w czasie rzeczywistym.
Architektura GPT-3 składa się z wielu bloków transformatorów, z których każdy zawiera mechanizmy samouwagi i sprzężone sieci neuronowe, które pozwalają modelowi rozumieć i generować tekst poprzez uczenie się wzorców w danych treningowych.