# Generativni prethodno obučeni transformator

**Generativni prethodno obučeni transformator** (engleski: *generative pre-trained transformer*; **GPT**) jest vrsta velikog jezičkog modela koja se široko koristi u generativnoj umjetnoj inteligenciji, naročito u čet-botovima. GPT modeli zasnivaju se na arhitekturi transformera i prethodno se obučavaju na velikim skupovima neoznačenih podataka, nakon čega mogu generirati novi sadržaj.

OpenAI je prvi primijenio generativno prethodno obučavanje na arhitekturu transformera i 2018. predstavio model GPT-1. Kasnije su objavljeni veći i sposobniji modeli, a nakon izlaska ChatGPT-a krajem 2022. godine GPT-ovi i srodni modeli postali su jedna od središnjih tehnologija savremene umjetne inteligencije.

## Pozadina

Tokom 2010-ih napredak u mašinskom učenju, snažniji računari i rast količine digitaliziranog materijala stvorili su uvjete za ubrzani razvoj umjetne inteligencije.

Koncept generativnog prethodnog obučavanja postojao je i prije pojave GPT-a. Riječ je o postupku u kojem se model prvo obučava na velikom neoznačenom skupu podataka, a zatim prilagođava konkretnom zadatku pomoću označenih podataka.

Temeljna tehnologija GPT-a jest arhitektura transformera, koja je omogućila efikasniju obradu čitavih nizova teksta i obuku većih jezičkih modela nego što je to bilo uobičajeno kod starijih pristupa zasnovanih na rekurentnim neuronskim mrežama.

## Historija

Dana 11. juna 2018. istraživači OpenAI-ja objavili su rad *Improving Language Understanding by Generative Pre-Training (Poboljšanje razumijevanja jezika generativnom prethodnom obukom)*, kojim je predstavljen GPT-1, prvi GPT model. Model je kombinirao prethodno obučavanje na korpusu *BookCorpus* s naknadnim finim podešavanjem za posebne zadatke obrade prirodnog jezika.

OpenAI je 14. februara 2019. predstavio GPT-2, znatno veći model sposoban za koherentnije generiranje teksta. Zbog zabrinutosti u vezi s mogućom zloupotrebom, puni model nije odmah objavljen, nego postepeno.

U maju 2020. objavljen je GPT-3, model s 175 milijardi parametara, koji je značajno unaprijedio sposobnosti rješavanja zadataka na osnovu malog broja primjera ili bez posebnog dodatnog obučavanja.

Kasnije su nastali modeli kao što su GPT-4, multimodalni veliki jezički model sposoban za obradu tekstualnog i slikovnog ulaza, te GPT-4o, koji može obrađivati i generirati tekst, slike i zvuk. OpenAI je 2025. objavio GPT-5, za koji je navedeno da koristi usmjerivač koji bira između bržeg modela i sporijeg modela za zaključivanje, ovisno o zadatku.

Popularnost ChatGPT-a potaknula je razvoj brojnih konkurentskih sistema drugih organizacija, uključujući Googleove modele PaLM i Gemini, Metin Llama, kao i otvorene modele organizacija poput EleutherAI.

## Temeljni modeli

**Temeljni model** jest model umjetne inteligencije obučen na širokim skupovima podataka u velikim razmjerama tako da se može prilagoditi velikom broju naknadnih zadataka. GPT serija predstavlja jednu od najpoznatijih porodica takvih modela.

Osim OpenAI-jevih GPT modela, među srodne temeljne modele ubrajaju se i PaLM, Llama te razni otvoreni GPT-slični sistemi.

Iako su GPT modeli prvobitno bili usmjereni prvenstveno na tekst, kasniji modeli razvijeni su i kao multimodalni sistemi, što znači da mogu obrađivati više vrsta ulaznih i izlaznih podataka.

## Modeli specifični po zadatku

Temeljni GPT model može se dodatno prilagoditi konkretnim zadacima ili oblastima pomoću finog podešavanja i drugih postupaka, uključujući inženjering promptova.

Važan primjer takve prilagodbe jest *InstructGPT*, skup modela koji su dodatno obučeni da slijede upute kombinacijom nadziranog učenja i učenja s pojačanjem iz ljudske povratne informacije (RLHF). Ovakvi modeli pokazali su veću preciznost, manje štetnih ili toksičnih izlaza i bolju usklađenost s korisničkim potrebama.

Među često navođenim primjerima GPT sistema usmjerenih na određene oblasti nalaze se *EinsteinGPT* za prodaju i marketing, *BloombergGPT* za finansije, *Khanmigo* za obrazovanje, *Slack GPT* za komunikaciju u okviru platforme Slack te *BioGPT* za biomedicinsko područje.

## Pitanja brenda

OpenAI je 2023. tvrdio da izraz *GPT* treba posmatrati i kao brend povezan s njegovim proizvodima te je izmijenio smjernice tako da drugim korisnicima njegovog API-ja više nije dopušteno da *GPT* uključuju u nazive vlastitih proizvoda ili usluga. Istovremeno je OpenAI unutar vlastite platforme omogućio izradu prilagođenih verzija ChatGPT-a nazvanih *GPTs*.

## Također pogledaj

* Veliki jezički modeli
* Transformer (mašinsko učenje)
* ChatGPT
* Generativna umjetna inteligencija

## Reference