ivankadchenko/llm-course-hw1

Этот репотозирий представляет собой обученный Byte-level BPE токенизатор и небольшую языковую модель на основе трансформера, способная делиться русскими анекдотами!

Скачай и попробуй!

В качестве модели используется трансформер, в котором:

1. В качестве позиционных эмбеддингов используется ALiBi
2. Механизм внимания использует GQA
3. В Feed-Forward блоке SwiGLU

Размер модели - 79.54M параметров. С её помощью можно получить, например, вот такой вот смешной текст: "Заходит в бар, а там мужик на кухне. Сын: — Ты чего, братан идиота? — Да ну и козь! Я ему на диалоге и сдал на кухонку... — Ну, я не знаю, у него в качестве!"

Отчёт об обучении и валидации модели представлен на картинке:

Для простого скачивания и генерации текстов воспользуйтесь простым кодом ниже:

# импортируем модель
device = torch.device("cuda")

tokenizer = ByteLevelBPETokenizer.from_pretrained(REPO_NAME)
check_model = TransformerForCausalLM.from_pretrained(REPO_NAME)
check_model = check_model.to(device)
check_model = check_model.eval()

# пример запроса
text = "Штирлиц пришел домой"
input_ids = torch.tensor(tokenizer.encode(text), device=device)
model_output = check_model.generate(
    input_ids[None, :], max_new_tokens=200, eos_token_id=tokenizer.eos_token_id, do_sample=True, top_k=10
)
tokenizer.decode(model_output[0].tolist())