---
datasets:
- Jotschi/kleiner-astronaut
license: apache-2.0
language:
- de
---

# Kleiner Astronaut - 126M

![Astronaut holding balloon](cover.png)

Model pre-trained on the german [Kleiner Astronaut dataset](https://huggingface.co/datasets/Jotschi/kleiner-astronaut).

Example from Dataset:

> Eines Tages traten der kleine Astronaut Max und sein neues Roboter-Freundchen, Astro, in ihr schattiges Wohnzimmer…


* Architecture: NanoGPT / Custom Arch - Based on GPT-2
* License: Apache-2.0

## Training

Sources: https://github.com/Jotschi/nanoGPT/tree/kleiner-astronaut-126M

Hyperparams used to train this model:

| Parameter      | Value |
|----------------|-------|
| n_layer        | 12    |
| n_head         | 12    |
| n_embd         | 780   |
| dropout        | 0.2   |
| batch_size     | 32    |
| block_size     | 256   |
| gradient_accumulation_steps | 1 |
| learning_rate  | 1e-5  |
| max_iters      | 500000 |
| lr_decay_iters | 5000  |
| min_lr         | 1e-6  |
| beta2          | 0.99  |
| warmup_iters   | 100   |


## Example 

```
Die Galaxie war voller ungewöhnlicher Dinge, die man noch nie gesehen hatte – riesige Sterne, die wie kleine Diamanten am Himmel glitzerten, und Sternschnuppen, die wie feine Seifenblasen funkelten. Max und Luna waren so erstaunt, dass sie sich auf einem großen Festmahl herumdrehten, begegneten ihnen über einer Reihe von Galaxien, wo jedes Sternchen einzigartige Geschichten hörte.

Als sie zu einem großen Planet umschwommen waren, bemerkten sie einen kleinen Planet, der vor ihnen aufgegangen war. "Wow", murmelte Max, "das ist so großartig!" Er hatte eine kleine Stadt in Form von Sternen darauf und war begeistert von den schönsten Welten.

Auf dieser neuen Welt trafen sie auf viele andere kleine Astronauten, die ebenfalls dort lebten. Diese Kinder waren so freundlich wie Max, aber sie trugen mit ihren Hüften und schauten ihnen zu. "Wir sind die Sternengötter", sagte einer der kleinen Sternchen, "und wir sind auf unserer Reise durch den Kosmos."

Max lachte und dachte nach, wie er diese neue Welt entdecken würde. Mit einem Sprung in seine kleine Raumkapsel setzte Max los und fuhr durch die Sternenschleife, um nach dem Abenteuer zu suchen. Er kletterte über Flüssigkeiten, die wie flüssige Stücke aussahen und sah wie kleine Sterne auf einer großen Festfeier tanzten.
```

## Usage

The custom model implementation can be found in `model.py`.

```py
pip install -r requirements.txt
python example.py
```

The model is not compatible with common inference servers.