# Generativ førehandstrent transformator

|  |
| --- |
| generativ førehandstrent transformator |
|  |

**Generativ førehandstrent transformator** (engelsk: *Generative Pre-trained Transformer*, forkorta **GPT**) er ein type stor språkmodell (LLM) og eit sentralt rammeverk for generativ kunstig intelligens. GPT er eit kunstig nevralt nettverk som blir nytta til naturleg språkprosessering i maskinar. Modellane er baserte på transformator-arkitekturen innan djup læring, er førehandstrente på store mengder umerkte tekstdata, og kan generere nytt, menneskeliknande innhald. Frå og med 2023 hadde dei fleste LLM-ar slike eigenskapar, og dei blir ofte samla omtala som «GPT-ar».

Den første GPT-modellen blei introdusert i 2018 av OpenAI. OpenAI har sidan lansert fleire grunnmodellar som er nummererte og utgjer «GPT-n»-serien. Kvar av desse har vore betydeleg meir kapabel enn den førre, som følgje av aukande storleik (målt i talet på trenbare parameterar) og meir omfattande trening. Den nyaste modellen, *GPT-4o*, blei lansert i mai 2024. Desse modellane er grunnlaget for meir spesialiserte GPT-system, til dømes modellar som er finjusterte for å følgje instruksjonar – slik som dei som ligg til grunn for samtaleroboten ChatGPT.

Omgrepet «GPT» blir òg nytta i namn og omtale av liknande modellar utvikla av andre aktørar enn OpenAI.

## GPT-serien frå OpenAI

### GPT-1

**GPT-1** (*Generative Pre-trained Transformer 1*) var den første store språkmodellen frå OpenAI, og følgde etter introduksjonen av transformatorarkitekturen frå Google i 2017. I juni 2018 publiserte OpenAI ein artikkel med tittelen *Improving Language Understanding by Generative Pre-Training*, der dei presenterte modellen og konseptet bak generative førehandstrente transformatorar.

### GPT-2

**GPT-2** er den andre språkmodellen i GPT-serien frå OpenAI. Modellen blei førehandstrent på eit datasett med åtte millionar nettsider. Ein del av modellen blei offentleggjort i februar 2019, medan den fullstendige versjonen med 1,5 milliardar parameterar blei lansert 5. november same år.

### GPT-3

**GPT-3** blei lansert i 2020 og er ein stor språkmodell basert på same transformatorarkitektur som GPT-2, men med betydeleg fleire parameterar. Modellen er ein såkalla «dekodar-einings»-modell, som nyttar eit mekanisme kalla *attention* for å fokusere på relevante delar av innputten. GPT-3 har 175 milliardar parameterar med 16-bits presisjon, noko som krev om lag 350 GB lagring. Han har eit kontekstvindauge på 2048 *token*, og har vist sterke evner innan både *zero-shot* og *few-shot* læring.

### GPT-4

**GPT-4** er ein multimodal stor språkmodell og den fjerde i rekkja frå OpenAI. Han blei lansert 14. mars 2023, og blei tilgjengeleg gjennom den betalte chatbot-tenesta ChatGPT Plus, via OpenAI sitt API, og gratis gjennom Microsoft Copilot.

GPT-4 er førehandstrent på både offentleg tilgjengeleg data og data lisensiert frå tredjepartsleverandørar, og brukar dette til å predikere neste token i ein tekstsekvens. Deretter blir modellen finjustert gjennom forsterkingslæring med tilbakemelding frå både menneske og KI, for å betre tilpassa seg menneskeleg kommunikasjon og etterleving av retningslinjer.

## Kjelder

* *Denne artikkelen bygger på innleiinga av «Generative pre-trained transformer» frå Wikipedia på engelsk med utdrag frå underliggande artiklar, den 6. april 2025.*

## Bakgrunnsstoff

 Commons har multimedium som gjeld: **Generativ førehandstrent transformator «Kva er ein stor språkmodell?». Helsedirektoratet. 6. mai 2024. Henta 6. april 2025.
* «How to Use ChatGPT on Google Sheets With GPT for Sheets and Docs». *MUO*. 12. mars 2023.