Наверное, пока что лучшая русская модель, но есть одно но...
Интересно, почему был сделан выбор в пользу модели на базе llama? Спустя всего несколько тысяч токенов, модель уже потихоньку начинает глючить и повторяться. Это, может быть, было бы и не заметно, однако бросается в глаза особенно чётко после какой-нибудь Mistral 7b (но, естественно, эта модель уже на английском языке) Так что, хоть и выдерживает падежи и формирует предложения SambaLingo вполне неплохо (я бы даже сказал она — одна из лучших моделей для русского языка), но, конечно, после того же Mistral 7b даже такая продвинутая модель как llama кажется более примитивной, чем она есть на самом деле.
Я не хочу наставлять или учить чему-то, всё таки, можно считать, я почти не разбираюсь в этой теме. Но мне, как пользователю, всё равно очень хотелось бы видеть такой же проект, но уже на базе Mistral. Я, в свою очередь, могу пожелать только удачи с развитием проекта, потому что он действительно годный. Хоть мировым языком сейчас по праву является английский, но очень приятно, что есть люди, которые хотят добавить поддержку множества языков в разные модели для чат-ботов. Те, кто говорят только по-английски никогда не поймут, насколько приятно иметь интеграцию родного языка в языковую модель. ;)
English translation of comment by SambaLingo Russian Chat:
It's interesting to wonder why the llama-based model was chosen. After only a few thousand tokens, the model starts to glitch and repeat itself, which is not very noticeable at first, but becomes very clear after using a Mistral 7b model (which is already in English). So, while it can handle cases and form sentences well in SambaLingo (I would even say it's one of the best models for Russian), after using a Mistral 7b model, even the llama-based model seems more primitive than it actually is.
I don't want to criticize or teach anyone anything, since I'm not very familiar with the topic. But as a user, I still really want to see a similar project based on Mistral. I can only wish the project good luck in its development, as it really is a good one. Though English is currently the world's dominant language, it's still very nice to see people working to add support for multiple languages in different chatbot models. Those who only speak English will never understand how much it means to have integration with one's native language in a language model. ;)
Thank you so much for your feedback. We are very pleased that you like our model and that you think it is one of the best open source models for Russian. We hope to provide more high quality open source models for languages around the world.
We used llama as the base model because at the time of starting our research and exploration Mistral was not available yet, we agree this model would be a better if we started training from Mistral. If there is enough support and interest in the community we can expand the SambaLingo model series, so please share this project - Thank you!
Translation Of our response from English to Russian, by SambaLingo Russian Chat:
Большое спасибо за ваши отзывы. Мы очень рады, что вам нравится наша модель, и вы считаете, что она является одним из лучших открытых моделей для русского языка. Мы надеемся предоставить больше высококачественных открытых моделей для языков по всему миру.
Мы использовали llama в качестве основы модели, поскольку на момент начала наших исследований и исследований Mistral еще не был доступен, мы согласны, что эта модель была бы лучше, если бы мы начали обучение с Mistral. Если будет достаточно поддержки и интереса в сообществе, мы сможем расширить серию моделей SambaLingo, поэтому, пожалуйста, поделитесь этим проектом - Спасибо!