openmodelai/GPT-2-Lite

GPT-2 Lite RU

Компактная русскоязычная GPT-2 для локальных экспериментов. Основа — ai-forever/rugpt3small_based_on_gpt2. Модель слегка адаптирована методом LoRA на небольшом наборе примеров формата «Пользователь/Ассистент», после чего адаптер слит с весами. Архив содержит стандартную структуру Hugging Face и загружается через AutoModelForCausalLM.from_pretrained().

Использование

from transformers import AutoModelForCausalLM, AutoTokenizer

path = "gpt2-lite-ru"
tok = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path)
prompt = "Пользователь: Объясни, что такое алгоритм.\nАссистент:"
inputs = tok(prompt, return_tensors="pt")
result = model.generate(**inputs, max_new_tokens=120)
print(tok.decode(result[0], skip_special_tokens=True))

Ограничения

Это небольшая автодополняющая языковая модель, а не современная instruction/chat-модель. Она может ошибаться, повторяться, продолжать запрос вместо ответа и создавать недостоверный или нежелательный текст. Мини-дообучение улучшает соблюдение демонстрационного формата, но не гарантирует фактическую точность. Не используйте результат для медицинских, юридических, финансовых или иных важных решений без проверки человеком.

Воспроизводимость

Скрипт сборки, фиксированные зависимости и открытый тренировочный набор находятся в репозитории. Seed: 42; LoRA rank: 8; шагов: 12.