mini-laereplan-gpt

En bitteliten norsk språkmodell (912 128 parametere) laget for undervisningsformål – trent utelukkende på Overordnet del – verdier og prinsipper for grunnopplæringen (LK20, Kunnskapsdepartementet).

Modellen brukes i et kurs om språkmodeller for lærere og skoleledere, for å vise hvordan en språkmodell fungerer «på nært hold»: tokenisering, neste-token-prediksjon, sampling/temperatur og <eos>. Den er en ren basemodell – den fortsetter tekst i læreplanstil og kan ikke svare på spørsmål.

Bruk

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("erlingmi/mini-laereplan-gpt")
modell = AutoModelForCausalLM.from_pretrained("erlingmi/mini-laereplan-gpt")

ids = tokenizer("Skolen skal", return_tensors="pt")["input_ids"]
resultat = modell.generate(ids, max_new_tokens=60, do_sample=True, temperature=0.7,
                           eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(resultat[0], skip_special_tokens=True).strip())

Kjører fint på CPU.

Detaljer

• Arkitektur: GPT-2 (decoder-only transformer), 4 lag, 4 attention-hoder, dimensjon 128, kontekstvindu 128
• Tokenizer: BPE trent fra bunnen på samme tekst, vokabular 800 (inkl. <ukjent> og <eos>)
• Treningsdata: ca. 12 300 tokens; teksten delt i 112 avsnitt med <eos> mellom
• Trening: 1 600 steg, AdamW, batch 32 – bevisst trent til kraftig memorering, slik at lav temperatur gir flytende (ofte ordrett) læreplanprosa mens høy temperatur (≈2+) gir nonsense
• Begrensninger: Kan kun «læreplansk». Ingen instruksjonstrening, ingen faktakunnskap, ingen sikkerhetstrening. Kun til demonstrasjon.

Treningsteksten er et offentlig dokument (åndsverkloven § 14).