poligonchiik/llm-course-hw1

---

datasets: IgorVolochay/russian_jokes, файл dataset.txt

Генерация анекдотов

Реализация и обучение Byte-level BPE токенизатора и небольшой LM. В репозитории опубликована модель small с Rotary Positional Embedding.

Результаты экспериментов

| Модель | Позиционный механизм | Шаги | Learning rate | Validation loss |
| nano | Alibi | 10 000 | 3e-4 | 3.618 |
| nano | Alibi | 30 000 | 3e-4 | 3.369 |
| small | Alibi | 30 000 | 2e-4 | 2.462 |
| small | RPE | 30 000 | 2e-4 | 2.464 |

Пример генерации

Промпт: У меня не

Ответ: У меня не котлеты, а усы и пельмени.