SimpleLLM Barsik
Учебная языковая модель, написанная с нуля на чистом PyTorch в курсе «Математика LLM - Создаём ChatGPT своими руками». https://stepik.org/a/276236
Что это
Decoder-only трансформер на 6 534 528 параметров: 2 блока, 2 головы внимания, размер эмбеддинга 64, контекстное окно 32 токена. Токенизатор - стандартный BPE от GPT-2, словарь 50 257 токенов.
Модель обучена на коротком рассказе про кота Барсика, а затем дообучена на 12 парах «вопрос - ответ» по этому рассказу.
Как пользоваться
Модель не совместима с классами transformers: это собственная архитектура из курса. Нужен файл model.py оттуда же.
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
weights = hf_hub_download("petrovyuri/simple-llm-barsik", "chat_model.safetensors")
config = hf_hub_download("petrovyuri/simple-llm-barsik", "simple_llm_config.json")
Границы применимости
Модель отвечает на 12 вопросов, на которых её дообучали, и уверенно выдумывает ответы на все остальные. Это учебный пример, показывающий устройство языковой модели, а не рабочий инструмент.