Cubit Line 0.5
My own small language model. I trained it from scratch on my laptop.
It speaks Russian. It knows almost no English, so please write to it in Russian, or you will get things like "hello what happening, a be makas?".
It's not fully trained yet, so it can talk, but it gets facts and math wrong and makes stuff up a lot. It's just an experiment.
To try it: install torch, safetensors and tokenizers, run
cubit_chat.py, press "Open model" and pick the .safetensors file.
Temperature around 0.5 and chat memory 0-1 work best. (rarely it could work good and even on a temperature more than 0.5 if you get lucky)
Trained on my own dialogs, Russian Wikipedia, and two datasets by Den4ikAI (russian_instructions and russian_dialogues).
author: me. YouTube: @cubo_cube!
Code: made with AI help (mostly Claude).
На русском
Моя маленькая языковая модель. Я обучил её с нуля на своём ноутбуке черезболь и стра- ой.
Она говорит по русски. Английский почти не знает, так что пишите ей по русски, иначе получите что-то вроде "hello what happening, a be makas?".
Она ещё не доучена: разговаривать умеет, но ошибается в фактах и математике и часто выдумывает. Это просто эксперимент.
Как попробовать: установите torch, safetensors и tokenizers,
запустите cubit_chat.py, нажмите "Open model" и выберите файл .safetensors.
Лучше всего работает температура около 0.5 и память чата 0-1. (но иногда может работать хорошо и на температуре выше 0.5 если повезёт)
Обучена на моих диалогах, русской Википедии и двух наборах от Den4ikAI (russian_instructions и russian_dialogues).
Код: сделанно с помощью ИИ (больше всего Claude).
Автор: я. YouTube: @cubo_cube!