Generativ førehandstrent transformator

**Generativ førehandstrent transformator** (engelsk: *Generative Pre-trained Transformer*, forkorta **GPT**) er ein type stor språkmodell (LLM) og eit sentralt rammeverk for generativ kunstig intelligens. GPT er eit kunstig nevralt nettverk som blir nytta til naturleg språkprosessering i maskinar. Modellane er baserte på transformator-arkitekturen innan djup læring, er førehandstrente på store mengder umerkte tekstdata, og kan generere nytt, menneskeliknande innhald. Frå og med 2023 hadde dei fleste LLM-ar slike eigenskapar, og dei blir ofte samla omtala som «GPT-ar».

Den første GPT-modellen blei introdusert i 2018 av OpenAI. OpenAI har sidan lansert fleire grunnmodellar som er nummererte og utgjer «GPT-n»-serien. Kvar av desse har vore betydeleg meir kapabel enn den førre, som følgje av aukande storleik (målt i talet på trenbare parameterar) og meir omfattande trening. Den nyaste modellen, *GPT-4o*, blei lansert i mai 2024. Desse modellane er grunnlaget for meir spesialiserte GPT-system, til dømes modellar som er finjusterte for å følgje instruksjonar – slik som dei som ligg til grunn for samtaleroboten ChatGPT.

Omgrepet «GPT» blir òg nytta i namn og omtale av liknande modellar utvikla av andre aktørar enn OpenAI.

## GPT-serien frå OpenAI

### GPT-1
**GPT-1** (*Generative Pre-trained Transformer 1*) var den første store språkmodellen frå OpenAI, og følgde etter introduksjonen av transformatorarkitekturen frå Google i 2017. I juni 2018 publiserte OpenAI ein artikkel med tittelen *Improving Language Understanding by Generative Pre-Training*, der dei presenterte modellen og konseptet bak generative førehandstrente transformatorar.

### GPT-2
**GPT-2** er den andre språkmodellen i GPT-serien frå OpenAI. Modellen blei førehandstrent på eit datasett med åtte millionar nettsider. Ein del av modellen blei offentleggjort i februar 2019, medan den fullstendige versjonen med 1,5 milliardar parameterar blei lansert 5. november same år.

### GPT-3
**GPT-3** blei lansert i 2020 og er ein stor språkmodell basert på same transformatorarkitektur som GPT-2, men med betydeleg fleire parameterar. Modellen er ein såkalla «dekodar-einings»-modell, som nyttar eit mekanisme kalla *[[self-attention|attention]]* for å fokusere på relevante delar av innputten. GPT-3 har 175 milliardar parameterar med 16-bits presisjon, noko som krev om lag 350 GB lagring. Han har eit kontekstvindauge på 2048 *[[token]]*, og har vist sterke evner innan både *[[zero-shot learning|zero-shot]]* og *[[few-shot learning|few-shot]]* læring.

### GPT-4
**GPT-4** er ein multimodal stor språkmodell og den fjerde i rekkja frå OpenAI. Han blei lansert 14. mars 2023, og blei tilgjengeleg gjennom den betalte chatbot-tenesta ChatGPT Plus, via OpenAI sitt API, og gratis gjennom Microsoft Copilot.

GPT-4 er førehandstrent på både offentleg tilgjengeleg data og data lisensiert frå tredjepartsleverandørar, og brukar dette til å predikere neste token i ein tekstsekvens. Deretter blir modellen finjustert gjennom forsterkingslæring med tilbakemelding frå både menneske og KI, for å betre tilpassa seg menneskeleg kommunikasjon og etterleving av retningslinjer.

## Kjelder

**Denne artikkelen bygger på innleiinga av «[[:en:Generative pre-trained transformer|Generative pre-trained transformer]]» frå  med utdrag frå underliggande artiklar, den 6. april 2025.*

## Bakgrunnsstoff

* 
*