Decoder modelleri
Decoder modeller, yalnızca bir Transformer modelinin decoderini kullanır. Her aşamada, attention katmanları sadece cümlede kendisinden önce gelen kelimelere erişebilir. Bu modeller auto-regressive models olarak isimlendirilir.
Decoder modellerin ön eğitimi genellikle cümledeki bir sonraki kelimeyi tahmin etme şeklinde görevlendirilir.
Bu modeller, en çok metin oluşturmayı içeren görevler için uygundur.
Bu model ailelerinin temsilcileri şunları kapsar: