ChatGPT, OpenAI tarafından Generative Pretrained Transformer 3 (GPT-3) mimarisine dayalı olarak geliştirilmiş, sohbete dayalı bir AI modelidir. Model, kendisine verilen istemlere yanıt olarak insan benzeri metinler oluşturmasına izin verecek şekilde çeşitli internet metinleri üzerinde eğitilmiştir.
Bir kullanıcı girdi sağladığında, model metni işler ve girdiye ve eğitim verilerine dayalı olarak en olası sonraki kelimeyi tahmin ederek bir yanıt oluşturur. Yanıt daha sonra en iyi tahminlerden örnekleme yoluyla oluşturulur. Tüm süreç model tarafından gerçek zamanlı olarak gerçekleştirilir.
GPT-3 mimarisi, her biri modelin eğitim verilerindeki kalıpları öğrenerek metni anlamasını ve oluşturmasını sağlayan öz dikkat mekanizmaları ve ileri beslemeli sinir ağları içeren birden fazla dönüştürücü bloktan oluşur.