TinyStories-GR Llama 60M

A from-scratch, Llama-3.1-architecture causal language model trained to generate plausible short children's stories in Modern Greek. Part of a size-ablation family trained on the same data, tokenizer, and recipe -- only model size changes between them. Full architecture details are in this repo's config.json.

Model family

Size	Params	Val loss
120M	118.98M	1.4402
60M	59.98M	1.5185
30M	30.48M	1.6646
5M	4.82M	2.1269

Tokenizer

A custom byte-level BPE tokenizer, vocab size 16640 (16384 learned merges + the 256-entry byte alphabet). Built from the Llama 3.2 tokenizer's tokenization pipeline (regex pre-tokenizer, ByteLevel encoding/decoding) but retrained from scratch on the Greek corpus below, keeping only bos/eos special tokens (not Llama's ~254 unused reserved/fine-tuning placeholder tokens).

Training data

alexliap/tinystories-gr: 2,141,648 Greek translations of the TinyStories dataset. Trained for 1 epoch (~413M tokens) on sequences packed to 256 tokens (no padding, no truncation -- long stories span multiple packed sequences).

Sample generation

Greedy decoding, run until the model emits eos on its own (capped at 256 tokens):

Prompt: Μια φορά κι έναν καιρό, ένα μικρό κορίτσι

Completion (184 tokens, ended on eos):

Μια φορά κι έναν καιρό, ένα μικρό κορίτσι που το έλεγαν Λίλυ πήγε στο πάρκο για να παίξει. Είδε ένα αγόρι που το έλεγαν Τίμμυ και ήθελε να παίξει μαζί του. Ο Τίμμυ είπε: «Βεβαίως, μπορείς να παίξεις μαζί μου». Η Λίλυ χάρηκε πολύ και έπαιξαν μαζί.

Ξαφνικά, η Λίλυ είδε ένα αγόρι που το έλεγαν Τίμμυ. Ο Τίμμυ είπε: «Γεια σου, με λένε Λίλυ. Θέλεις να παίξεις μαζί μου;» Ο Τίμμυ απάντησε: «Ναι, θέλω να παίξω μαζί σου». Έπαιξαν μαζί για λίγη ώρα, αλλά μετά ο Τίμμυ είπε: «Θέλω να παίξω κι εγώ με το παιχνίδι σου».

Η Λίλυ είπε: «Εντάξει, αλλά πρέπει να είσαι προσεκτικός. Είναι το αγαπημένο μου παιχνίδι». Ο Τίμμυ υποσχέθηκε ότι θα προσέχει και έπαιξαν μαζί. Πέρασαν τόσο όμορφα που δεν κατάλαβαν καν πότε ήρθε η ώρα να πάνε σπίτι. Η Λίλυ είπε: «Αντίο, Τίμμυ. Τα λέμε αύριο!» και ο Τίμμυ απάντησε: «Αντίο, Λίλυ. Τα λέμε αύριο!»

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "alexliap/tinystories-gr-llama-60m"
tokenizer = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForCausalLM.from_pretrained(repo_id)

prompt = "Μια φορά κι έναν καιρό,"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
output = model.generate(input_ids, max_new_tokens=200, do_sample=False, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Limitations

Trained on a single narrow domain (short, simple children's stories) for one epoch -- not a general-purpose language model. Expect fluent, grammatical Modern Greek within that domain, and degraded coherence/factuality well outside of it.