mariaskai/llm-course-hw1

Карта модели: генератор шуток на русском (nano version)

Описание

Эта LLM умеет генерировать русские анекдоты:) Чувство юмора у неё так себе, но будем над этим работать. Да и у абсурдности есть свой шарм

Архитектура

• Тип модели: Causal Language Model (Transformer)
• Размер: Nano (~0.5M параметров)
• Токенизатор: Custom Byte-level BPE (vocab_size=1024)
• Используем: ALiBi, Grouped-Query Attention, SwiGLU, RMSNorm

Обучение

• Датасет: IgorVolochay/russian_jokes
• Шаги 10 000
• Финальный Loss: ~3.5

Пример генерации

Промпт: "Заходит в бар"

Ответ модели: "Заходит в бар. Вдруг говорит: - Я хочу почти на вечеру. Открывается, я привезли, я на ну, второй пьяной и говорит: - Ну, я тебе, я бы я не паду не могли![EOS]"

Абсурдно, но в этом и прикол)

---

tags: - model_hub_mixin - pytorch_model_hub_mixin

This model has been pushed to the Hub using the PytorchModelHubMixin integration:

• Code: [More Information Needed]
• Paper: [More Information Needed]
• Docs: [More Information Needed]