inkoziev
/

rugpt_chitchat

@@ -14,11 +14,11 @@ widget:
 - text: "- Аристотель был греческим ученым. Все греческие ученые были черноволосыми. Какой вывод можно сделать про внешность Аристотеля? -"
 ---
-## Russian Chit-chat with common sence reasoning
 Модель является ядром прототипа [диалоговой системы](https://github.com/Koziev/chatbot) с двумя основными функциями.
-Первая функция - генерация реплик чит-чата. В качестве затравки подается история диалога (предшествующие несколько реплик, до 10).
 ```
 - Привет, как дела?
@@ -26,9 +26,9 @@ widget:
 - <<< эту реплику ожидаем от модели >>>
 ```
-Вторая функция модели - вывод ответа на заданный вопрос, опираясь на дополнительные факты. Предполагается, что релевантные факты извлекаются
-из стороннего хранилища (базы знаний) с помощью другой модели, которую мы здесь пока не рассматриваем. Используя указанный
-факт и текст вопроса, модель построит грамматичный и максимально краткий ответ, как это сделал бы человек в подобной коммуникативной ситуации. Релевантные факты
 следует указывать перед текстом заданного вопроса так, будто сам собеседник сказал их:
@@ -47,7 +47,7 @@ widget:
 - в Подольске
 ```
-В некоторых случаях модель может выполнять силлогический вывод ответа, опираясь на 2 предпосылки, связанные друг с другом:
 ```
 - Смертен ли Аристофан, если он был греческим философом, а все философы смертны?
@@ -64,6 +64,24 @@ widget:
 ```
 ### Пример использования
 ```

 - text: "- Аристотель был греческим ученым. Все греческие ученые были черноволосыми. Какой вывод можно сделать про внешность Аристотеля? -"
 ---
+## Russian Chit-chat, Deductive and Common Sense reasoning model
 Модель является ядром прототипа [диалоговой системы](https://github.com/Koziev/chatbot) с двумя основными функциями.
+Первая функция - **генерация реплик чит-чата**. В качестве затравки подается история диалога (предшествующие несколько реплик, до 10).
 ```
 - Привет, как дела?
 - <<< эту реплику ожидаем от модели >>>
 ```
+Вторая функция модели - вывод ответа на заданный вопрос, опираясь на дополнительные факты или на "здравый смысл". Предполагается, что релевантные факты извлекаются
+из стороннего хранилища (базы знаний) с помощью другой модели, которую мы здесь не рассматриваем. Используя указанный
+факт(ы) и текст вопроса, модель построит грамматичный и максимально краткий ответ, как это сделал бы человек в подобной коммуникативной ситуации. Релевантные факты
 следует указывать перед текстом заданного вопроса так, будто сам собеседник сказал их:
 - в Подольске
 ```
+В некоторых случаях модель может выполнять **силлогический вывод** ответа, опираясь на 2 предпосылки, связанные друг с другом. Выводимое из двух предпосылок следствие не фигурирует явно, а *как бы* используется для вывода ответа:
 ```
 - Смертен ли Аристофан, если он был греческим философом, а все философы смертны?
 ```
+### Варианты модели и метрики
+Выложенная на данный момент модель имеет 760 млн. параметров, т.е. sberbank-ai/rugpt3large_based_on_gpt2. Далее приводится
+результат замера точности решения арифметических задач на отложенном тестовом наборе сэмплов:
+| base model                              | arith. accuracy |
+| --------------------------------------- | --------------- |
+| sberbank-ai/rugpt3large_based_on_gpt2   |  0.91           |
+| sberbank-ai/rugpt3medium_based_on_gpt2  |  0.70           |
+| sberbank-ai/rugpt3small_based_on_gpt2   |  0.58           |
+| tinkoff-ai/ruDialoGPT-small             |  0.44           |
+Цифра 0.91 в столбце "arith. accuracy" означает, что 91% тестовых задач решено полностью верно.
+Любое отклонение сгенерированного ответа от эталонного рассматривается
+как ошибка. Например, выдача ответа "120" вместо "119" тоже фиксируется как ошибка.
 ### Пример использования
 ```