DumbestSetEver/1.1vDumbSetAI_94.5M_beta_ru

1.1vDumbSetAI 94.5M Ru Beta

DumbSetAI выросла с 56M до 94.5M параметров. Стала ли она умнее? Ну... иногда.

---

Что это вообще

DumbSetAI - маленькая русская модель, которую я делаю сам. Эта версия создана на основе предыдущей DumbSetAI 56M. Я не обучал новую модель с нуля за основу была взята старая 56M модель, и к ней была добавлена дополнительная Stack-часть, в результате чего размер вырос до 94,503,648 параметров (~94.5M). Предыдущая версия имела около 56.7M параметров, новая — около 94.5M. Модель изначально обучалась примерно на 1.8 млрд токенов (750 млн токенов из которых это база), а потом уже поверх этой базы я делал дополнительные эксперименты с fine-tune. Она может нормально начать ответ, а потом внезапно рассказать про сайт, стройку, какого-нибудь Виктора Владимировича

---

КОД ДЛЯ ЗАПУСКА:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

REPO = "DumbestSetEver/1.1vDumbSetAI_94.5M_beta_ru"

tokenizer = AutoTokenizer.from_pretrained(
    REPO,
    trust_remote_code=True
)

model = AutoModelForCausalLM.from_pretrained(
    REPO,
    trust_remote_code=True,
    dtype=torch.float32
)

model.eval()

answer = model.generate_dumbset(
    "Привет, как дела?",
    tokenizer,
    max_context_tokens=100,
    max_answer_tokens=100,
    temperature=0.5,
    top_k=20,
    repetition_penalty=1.2,
    verbose=True,
)

print(answer)

---

Примеры генерации

Вопрос:Напиши небольшой рассказ про робота, который учится говорить по-русски Ответ: Я думаю, ты не станешь смеяться, чтобы рассказать историю, которая произошла с роботом.\nСудя по всему, я мог бы помочь тебе в жизни, если бы я был рад этой тебе. Ведь ты должен быть человеком, который любит меня. И не важно, кто ты есть.\n\nЯ бы хотел помочь тебе в жизни и заставить задуматься, потому что я могу помочь тебе в его жизни и поддержать свою жизнь. Я бы был хорошим человеком, но это действительно очень важно для тебя. Ты не можешь позволить себе сидеть рядом с кем-то на свободной местности Вопрос: Напиши короткое поздравление с днём рождения. Ответ: Дорогие друзья! Я тебе сегодня очень счастлив, если у тебя всегда есть друг. Я буду рад, если тебе удастся сделать всё, что ты есть!\n\n\nЧтобы поздравить всех друзей, в свою группу я отправлю несколько поздравительных пожеланий и предложений, которые вы мне вручили. Это должно быть красиво и уместно, так как оно также будет замечательно в вашем сообществе. Рецензент выражает благодарность за всю радость и поддержку, а также помогает мне в организации праздника и корпоративного мероприятия. Рецензент выражает

---

Характеристики

• Размер: 94,503,648 параметров (~94.5M)
• База: DumbSetAI 56M
• Прирост: примерно +37.8M параметров
• Язык: русский
• Контекст: 512 токенов
• Словарь: 12,000 токенов
• Base: 14 слоёв, 8 attention heads
• Stack: 12 дополнительных блоков
• Статус: Beta

---

Как появилась эта версия

Сначала была сделана DumbSetAI 56M. После этого архитектура была расширена дополнительными Stack-блоками, и итоговая модель стала размером около 94.5M параметров. После расширения модель продолжила использовать ту же основную идею и тот же tokenizer с теми же специальными токенами. После этого уже проводились дополнительные эксперименты с обучением и instruction fine-tune.

Короче, я просто нарастил DumbSetAI.