kamoo-one-135m

Een klein, soeverein Nederlands taalmodel — vanaf nul getraind, open tot op de laatste token.

kamoo-one-135m is het instapmodel van de kamoo-one-familie: een decoder-only transformer van 135M parameters, vanaf nul getraind op 7,3 miljard Nederlandse tokens met een eigen Nederlandse 32k-tokenizer. Geen fine-tune van een bestaand model, geen vertaald bijproduct: elke parameter is op Nederlands getraind, op eigen hardware in Nederland.

⚠️ Dit is een basismodel (geen instruct/chat-variant). Het zet tekst voort en is bedoeld als fundament voor fine-tuning op afgebakende Nederlandse teksttaken. Een instruct-variant volgt.

Gebruik

from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained("kamoo-ai/kamoo-one-135m")
model = AutoModelForCausalLM.from_pretrained("kamoo-ai/kamoo-one-135m")

prompt = "De gemeente heeft besloten dat"
out = model.generate(**tok(prompt, return_tensors="pt"), max_new_tokens=60)
print(tok.decode(out[0]))

Of met vLLM:

vllm serve kamoo-ai/kamoo-one-135m --max-model-len 1024

Architectuur

Parameters	135M (125,9M excl. tied lm_head)
Architectuur	decoder-only, Llama-compatibel (RMSNorm, RoPE, GQA, SwiGLU)
Dimensie / lagen	768 / 16
Attention	GQA, 12 heads / 4 kv-heads
FFN	2.048
Context	1.024 tokens
Tokenizer	kamoo-bpe-32k (32.768, puur Nederlands)
Precisie	bfloat16

Trainingsdata: het v0.8-corpus

7,3 miljard tokens (geschat op 4,45 tekens per token), 100% Nederlands, 12 bronnen met per bron gedocumenteerde licentie en herkomst. Verdeling uit het trainingsrapport:

Categorie	Tokens	Aandeel	Bronnen
Webteksten	4,9 mld	67,4%	FineWeb-2 NL (hq + full), ODC-BY
Kranten	0,8 mld	11,1%	KB open kranten via GPT-NL, CC-BY-4.0
Overheid & recht	0,65 mld	9,0%	rechtspraak, officiële bekendmakingen, Woo-documenten, Tweede Kamer, raadsinformatie (GPT-NL, CC-BY-4.0)
Wikipedia	0,57 mld	7,9%	Nederlandse Wikipedia, CC-BY-SA
Literatuur	0,31 mld	4,3%	DBNL en Project Gutenberg, publiek domein
Onderwijs	0,02 mld	0,3%	Wikiwijs via GPT-NL, CC-BY-4.0

De filterpipeline (taal, kwaliteit, OCR-ruis, per bron gekalibreerd, exacte en near-dedup) is gedocumenteerd; elk filterbesluit staat met motivatie in versiebeheer. Er zit geen synthetische data in de pretrain.

Metingen

• Validatie-perplexity: 22,1 op held-out Nederlandse tekst uit dezelfde corpusverdeling (eigen tokenizer; perplexity is alleen vergelijkbaar binnen dezelfde tokenizer).
• Tokenizer-efficiëntie: een identieke Nederlandse alinea (388 tekens, eerste alinea van het Wikipedia-artikel "Nederland") kost 73 kamoo-tokens tegen 88 bij de tokenizer van ChatGPT (o200k_base) en 115 bij OLMo 2, met een vocabulaire dat 6× kleiner is. Alinea, script en meetlog: kamoo-ai/tokenizer-benchmark.

Grenzen, eerlijk

• Geen brede parametrische feitenkennis: feiten horen uit meegegeven context of documenten te komen.
• Geen meerstaps-redeneren zoals grote frontier-modellen.
• Alleen Nederlands (bewuste keuze).
• Context is 1.024 tokens; knip langere tekst in delen.
• Als basismodel volgt het geen instructies; het zet tekst voort.

Herkomst en AI Act

Vanaf nul getraind op eigen hardware in Nederland (~3×10¹⁹ FLOPs trainingscompute; ruim onder de indicatieve GPAI-drempel van 10²³ FLOPs uit de EU AI Act-richtsnoeren). Deze model card en het databronnenoverzicht publiceren we vrijwillig.

English summary

kamoo-one-135m is a 135M-parameter decoder-only Dutch language model, trained from scratch on 7.3B exclusively Dutch tokens with a custom Dutch 32k BPE tokenizer, on our own hardware in the Netherlands. It is a base model (not instruction-tuned), Llama-compatible, Apache-2.0 licensed, with fully documented training-data provenance per source. Built by kamoo as the entry-level tier of a sovereign Dutch model family.

---

kamoo · kamoo.nl · platform.kamoo.nl · gemaakt en getraind in Nederland