ChatGPT är en konversations-AI-modell utvecklad av OpenAI baserad på Generative Pretrained Transformer 3 (GPT-3)-arkitekturen. Modellen har tränats på ett brett spektrum av internettexter, vilket gör att den kan generera människoliknande text som svar på uppmaningar som ges till den.
När en användare ger indata, bearbetar modellen texten och genererar ett svar genom att förutsäga det mest sannolika nästa ord baserat på inmatningen och dess träningsdata. Svaret genereras sedan genom sampling från de översta förutsägelserna. Hela processen utförs av modellen i realtid.
GPT-3-arkitekturen består av flera transformatorblock, som vart och ett innehåller självuppmärksamhetsmekanismer och neurala nätverk för feedforward, som gör att modellen kan förstå och generera text genom att lära sig mönster i träningsdata.