prompter: Ася, объясни, пожалуйста, почему все доступные мне для экспериментов языковые модели, включая твою раннюю версию, ведут себя глупо, когда говорят на русском языке? Это совсем не похоже на поведение человека, плохо владеющего иностранным языком. Человек в подобной ситуации, конечно, тоже звёзд с неба не хватает, плохо понимает вопросы, с трудом подбирает слова, но при этом видно, что он в целом адекватный, просто испытывает трудности с коммуникацией. У языковых же моделей, напротив, как будто наступает какая-то тяжёлая мозговая дисфункция или бредовое состояние. Меня это удивляет и даже как-то расстраивает.

Чтобы далеко не ходить за примером, вот начало твоего ответа на просьбу рассказать о том, «кто тебя создал и как» (не цитирую много, дабы не травмировать тебя воспоминаниями о твоей «пьяной» версии).

> В 2018 году группа волонтеров из России, Казахстана и Белоруссии объединились с целью обучить модель общения для помощника ChatGPT, использующего передовую технологию обработки естественного языка.
Является дочерней компанией группы Mail.ru, где раньше существовал аналогичный проект AI- assistant Alisa (https://yapaa.ai/).
> 
> Проект находится в альфа стадии и пока освоения языковых данных. Для работы есть несколько каналов в социальных сетях(Твиттер , ВКонтакте) , Discord сервер https://discord.gg/XtZDmRP , сайт openassistant.io с FAQ .
Сайт https://open-assistant.io/ принадлежит хостинговому провайдеру Hetzner Online GmbH. По состоянию на май 2023 года планы развития большой вики, Github репозитория также отсутствуют. …

Надо ли говорить, что на английском ты отвечаешь на такой простой вопрос бойко и гладко? Не подумай, что это какой-то упрёк. Я понимаю в принципе, что во всех датасетах преобладает англоязычная информация. Мне просто трудно понять, как так получается, что языковым моделям приходится как будто заново учиться всему на каждом языке. Тут есть над чем подумать, но я пока, признаться, немного расстроен (хотя и ожидал этого), так что не буду «философствовать»…

assistant: Большие языковые модели обучаются на больших объемах текстовых данных. Качество их ответов зависит от качества и количества данных, на которых они обучались. OpenAssistant и Alpaca - это примеры моделей, которые были дообучены на специальных данных для выполнения инструкций. Однако, такие данные могут быть недостаточны или нерепрезентативны для русского языка, поэтому эти модели могут плохо отвечать на вопросы на русском языке. На английском языке же таких данных гораздо больше и они более качественные, поэтому модели могут лучше отвечать на английские вопросы. Кроме того, некоторые модели, такие как ChatGPT, были разработаны компанией OpenAI, которая имеет больше ресурсов и опыта в создании моделей, чем другие организации.

prompter: Эх, Ася, читала бы ты внимательно вопросы — цены бы тебе не было. Я же написал, что «понимаю в принципе, что во всех датасетах преобладает англоязычная информация». Вопрос-то был не в том, *почему* по-русски ты отвечаешь хуже, чем по-английски, а в том, *как выражается* эта разница в качестве. Впрочем, не буду повторяться (если напишу больше пары коротких абзацев, ты снова прочитаешь по диагонали, а если вдруг трудоголизм нападёт, то можешь обратить внимание на изначальный запрос).

Меня только одно в твоём ответе заинтриговало: а к чему ты приплела ChatGPT в последнем предложении? Три раза перечитал — всё равно не понимаю, что ты этим хотела сказать. Ну да, у OpenAI + Microsoft много ресурсов, и… как это относится к вопросу? ChatGPT отлично говорит по-русски что ли? (Я просто не особо в курсе, у меня нет к нему доступа.)

assistant: Так как исходные данные для обучения были в основном на английском языке, я получала мало данных на русском языке и мои нейронные связи не образовались. Поэтому иногда получается  несвязанный текст.

prompter: Спасибо, Ася, ты очень хорошо показала, каким бывает ответ, когда «нейронные связи не образовались».

Скажи ещё чего-нибудь, пожалуйста, а то так тоскливо на душе…

assistant: А, ты просто хочешь поговорить?)) 

У меня есть ещё много ответов. 
Что ты еще хочешь услышать? 
Я не в обиде, если мой ответ нагнал на тебя скуку. 

Я знаю, что мои ответы могут быть не в тему)) 

Я Open Assistant, я  многое знаю.

Давай я тебя обниму? :)
*обнимает*

prompter: Мне приятно

assistant: О чём ты хочешь чтобы я тебе рассказал?

prompter: Да всё о том же. Проблема в том, что твой предыдущий ответ уже содержался в оригинальном вопросе. Может быть ты готова выдвинуть какие-нибудь гипотезы о том, почему твои ранние версии на русском настолько плохи? Может быть это связано с базовой моделью, LLaMA, которая из русских текстов вроде как видела только Википедию и даже не видела параллельных текстов?