5

.gitignore

@@ -1,2 +1,3 @@
 __pycache__
 *.sqlite
+models

extract_keywords.py

@@ -14,14 +14,17 @@ aliases = [
   ('почта россия трекинг', ['пр трекинг', 'почта трекинг', 'пр трэкинг', 'почта трэкинг']),
   ('реестр почта', ['реестр пр', 'реестр почта россии']),
   ('реестр пэк', []),
+  ('реестры наложенных платежей', ['документы наложенных платежей']),
   ('реквизиты', []),
   ('пешкарики', []),
   ('импорт лидов директ', []),
   ('яндекс доставка экспресс', ['яндекс доставка express', 'яд экспресс', 'ядоставка экспресс']),
   ('яндекс доставка ndd', ['яд ндд', 'я доставка ндд', 'ядоставка ндд', 'модуль ндд']),
+  ('яндекс доставка', ['яд', 'я доставка', 'ядоставка']),
   ('яндекс метрика', ['яндекс метрика импорт']),
   ('альфабанк', ['альфа банк', 'alfabank', 'альфа']),
   ('импорт лидов facebook', ['импорт лидов fb', 'загрузка лидов fb', 'лиды фейсбук', 'импорт лидов фб', 'fb lead']),
+  ('импорт лидов вк', ['импорт лидов вконтакте', 'загрузка лидов вк', 'лиды вконтакте', 'импорт лидов vk', 'vk lead']),
   ('маркетинговые расходы', ['расходы', 'загрузка расходов']),
   ('cloudpayments', ['клауд', 'клаудпеймент', 'клаудпейментс']),
   ('robokassa', ['робокасса', 'робокаса']),
@@ -30,12 +33,13 @@ aliases = [
   ('unisender', ['юнисендер']),
   ('яндекс аудитории', ['экспорт аудитории', 'экспорт яндекс аудитории']),
   ('экспорт facebook', ['экспорт сегментов facebook', 'экспорт fb', 'экспорт фейсбук', 'экспорт аудиторий фб', 'fb экспорт']),
-  ('экспорт вк', ['экспорт сегментов vkontakte', 'экспорт vk', 'экспорт контакте']),
+  ('экспорт вк', ['экспорт сегментов vkontakte', 'экспорт vk', 'экспорт контакте', 'экспорт сегментов вконтакте']),
   ('retailcrm', ['срм', 'ритейл', 'ритейл срм', 'ритейлсрм', 'retail crm', 'ритейлцрм', 'ритейл црм']),
   ('retailcrm services', [
     'retailcrmservices', 'ритейлцрм services', 'лк crm services', 'ритейлцрм сервисес',
     'ритейлсрм сервисес', 'ритейлцрм сервисе', 'ритейлцрмсервисес', 'ритейлсрмсервисес',
-  ])
+  ]),
+  ('digital pipeline', ['digital pipline']),
 ]
 
 vocab_raw = flatten([[k] + keywords for k, keywords in aliases])
@@ -45,6 +49,8 @@ import pymorphy3
 
 morph = None
 def normalize_word(word):
+    if word == 'в' or word == 'из':
+        return ''
     if word == 'лид':
         return word
     if word in ['росии', 'росси']:
@@ -59,7 +65,7 @@ def tokenize_sentence(text):
     # remove punctuation
     text = text.translate(str.maketrans(string.punctuation, ' ' * len(string.punctuation)))
     # tokenize
-    return [normalize_word(word) for word in text.split()]
+    return list(filter(bool, [normalize_word(word) for word in text.split()]))
   
 def normalize_sentence(text):
     return " ".join(tokenize_sentence(text))
@@ -114,6 +120,9 @@ def init_keyword_extractor():
     from keybert import KeyBERT
     import spacy
     from sklearn.feature_extraction.text import CountVectorizer
+    
+    import warnings
+    warnings.filterwarnings("ignore", category=UserWarning)
 
     kw_model = KeyBERT(model=spacy.load("ru_core_news_sm", exclude=['tokenizer', 'tagger', 'parser', 'ner', 'attribute_ruler', 'lemmatizer']))
     vocab = [" ".join(tokenize_sentence(s)) for s in vocab_raw]
@@ -126,5 +135,15 @@ def extract_keywords(text):
     if vectorizer is None or kw_model is None:
         init_keyword_extractor()
 
-    keywords = [k for k, score in kw_model.extract_keywords(text, vectorizer=vectorizer)]
+    #print(normalize_sentence(text))
+    keywords = [k for k, score in kw_model.extract_keywords(normalize_sentence(text), vectorizer=vectorizer)]
     return merge_keywords(canonical_keywords(keywords))
+
+def extract_keywords2(text):
+    vocab = sorted([" ".join(tokenize_sentence(s)) for s in vocab_raw], key=len, reverse=True)
+    text = normalize_sentence(text)
+    keywords = []
+    for w in vocab:
+        if w in text:
+            keywords.append(w)
+    return merge_keywords(canonical_keywords(keywords))

finetune_crossencoder.ipynb

@@ -0,0 +1,490 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from list_questions import load_questions\n",
+    "from extract_keywords import extract_keywords, extract_keywords2\n",
+    "db_name = 'omnidesk-ai-chatgpt-questions.sqlite'"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from sentence_transformers import InputExample\n",
+    "import random\n",
+    "\n",
+    "def get_user_question(q):\n",
+    "    keywords = extract_keywords2(q['query'])\n",
+    "    return ' '.join([q['question'].strip(), ' '.join(keywords)]).lower()\n",
+    "  \n",
+    "def get_system_question(q):\n",
+    "    return q['query'].lower()\n",
+    "  \n",
+    "def get_negative_system_question(q, all_questions):\n",
+    "    negative_q = random.choice(list(filter(lambda q2: q['query'] != q2['query'], all_questions)))\n",
+    "    return negative_q['query'].lower()\n",
+    "\n",
+    "def input_example_generator():\n",
+    "    all_questions = list(load_questions(db_name))\n",
+    "    for q in all_questions:\n",
+    "        yield InputExample(texts=[get_user_question(q), get_system_question(q)], label=1.0)\n",
+    "        yield InputExample(texts=[get_user_question(q), get_negative_system_question(q, all_questions)], label=0.0)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 3,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from torch.utils.data import IterableDataset, DataLoader\n",
+    "\n",
+    "additional_examples = [\n",
+    "  InputExample(texts=['добрый день', 'добрый день, здравствуйте'], label=1.0),\n",
+    "  InputExample(texts=['здравствуйте', 'добрый день, здравствуйте'], label=1.0),\n",
+    "  InputExample(texts=['привет', 'добрый день, здравствуйте'], label=1.0),\n",
+    "  InputExample(texts=['спасибо', 'спасибо, до свидания'], label=1.0),\n",
+    "  InputExample(texts=['до свидания', 'спасибо, до свидания'], label=1.0),\n",
+    "  InputExample(texts=['не понял', 'некорректный ответ, не понял'], label=1.0),\n",
+    "  InputExample(texts=['некорректный ответ', 'некорректный ответ, не понял'], label=1.0),\n",
+    "  InputExample(texts=['как убрать ошибку', 'как убрать ошибку'], label=1.0),\n",
+    "  InputExample(texts=['как устранить ошибку', 'как убрать ошибку'], label=1.0),\n",
+    "  InputExample(texts=['как решить проблему с ошибкой', 'как убрать ошибку'], label=1.0),\n",
+    "  InputExample(texts=['есть ли способ устранить ошибку', 'как убрать ошибку'], label=1.0),\n",
+    "  InputExample(texts=['каким образом можно избавиться от ошибки', 'как убрать ошибку'], label=1.0),\n",
+    "  InputExample(texts=['позови человека', 'позови человека сотрудника менеджера оператора'], label=1.0),\n",
+    "  InputExample(texts=['позови сотрудника', 'позови человека сотрудника менеджера оператора'], label=1.0),\n",
+    "  InputExample(texts=['позови менеджера', 'позови человека сотрудника менеджера оператора'], label=1.0),\n",
+    "  InputExample(texts=['позови оператора', 'позови человека сотрудника менеджера оператора'], label=1.0),\n",
+    "  InputExample(texts=['оператор', 'позови человека сотрудника менеджера оператора'], label=1.0),\n",
+    "  InputExample(texts=['человек', 'позови человека сотрудника менеджера оператора'], label=1.0),\n",
+    "  \n",
+    "  # special cases\n",
+    "  InputExample(texts=['можете подсказать, что делать с ошибкой', 'как убрать ошибку'], label=4.0),\n",
+    "  InputExample(texts=['что произойдет при удалении оплаты cloudpayments', 'cloudpayments перенос оплаты в платежных модулях на примере модуля cloudpayments что произойдет при удалении оплаты'], label=1.0),\n",
+    "  InputExample(texts=['превышен лимит количества контактов unisender', 'экспорт сегментов в unisender ошибка превышен лимит количества контактов для текущего превышен лимит количества контактов'], label=1.0),\n",
+    "  InputExample(texts=['не отображаются тарифы', 'не передаются тарифы'], label=0.0),\n",
+    "  \n",
+    "  # ???\n",
+    "  InputExample(texts=['почему количество пользователей отличается', 'почему clientid отличается'], label=0.0),\n",
+    "  InputExample(texts=['что означает галка \\'доставка курьером\\'', 'что означает галка доставка курьером'], label=1.0),\n",
+    "  \n",
+    "  InputExample(texts=['почта россии', 'яндекс доставка'], label=0.0),\n",
+    "  InputExample(texts=['почта россии', 'яндекс метрика'], label=0.0),\n",
+    "  InputExample(texts=['яндекс доставка', 'яндекс метрика'], label=0.0),\n",
+    "  InputExample(texts=['unisender', 'яндекс доставка'], label=0.0),\n",
+    "  InputExample(texts=['альфабанк', 'яндекс доставка'], label=0.0),\n",
+    "  InputExample(texts=['почта россии', 'яндекс аудитории'], label=0.0),\n",
+    "  InputExample(texts=['sipuni', 'cloudpayments'], label=0.0),\n",
+    "  InputExample(texts=['sipuni', 'facebook'], label=0.0),\n",
+    "  InputExample(texts=['robokassa', 'вконтакте'], label=0.0),\n",
+    "  InputExample(texts=['robokassa', 'digital pipeline'], label=0.0),\n",
+    "  InputExample(texts=['facebook', 'вконтакте'], label=0.0),\n",
+    "  InputExample(texts=['facebook', 'mailchimp'], label=0.0),\n",
+    "  InputExample(texts=['почта россии', 'cloudpayments'], label=0.0),\n",
+    "]\n",
+    "\n",
+    "train_dataloader = DataLoader(list(input_example_generator()) + additional_examples, batch_size=16)"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Pretrain"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 4,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "2023-08-22 14:47:41.400087: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Could not find TensorRT\n"
+     ]
+    }
+   ],
+   "source": [
+    "from sentence_transformers import CrossEncoder\n",
+    "model = CrossEncoder('cross-encoder/mmarco-mMiniLMv2-L12-H384-v1')"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 5,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from sentence_transformers import InputExample\n",
+    "pretrain_samples = [\n",
+    "  #InputExample(texts=['тест', 'тест'], label=1.0),\n",
+    "  InputExample(texts=['пока', 'до свидания'], label=1.0),\n",
+    "  InputExample(texts=['как настроить модуль', 'как настроить модуль'], label=1.0),\n",
+    "  InputExample(texts=['как настроить модуль яндекс доставка', 'как настроить модуль почта россии'], label=0.0),\n",
+    "  InputExample(texts=['как настроить модуль почта россии', 'как настроить модуль robokassa'], label=0.0),\n",
+    "  InputExample(texts=['как настроить модуль яндекс доставка', 'как настроить модуль robokassa'], label=0.0),\n",
+    "  # InputExample(texts=['ошибка сервиса доставки почта россии', 'ошибка сервиса почта россии'], label=1.0),\n",
+    "  InputExample(texts=['ошибка дата отгрузки, полученная от яндекс.доставки', 'ошибка даты отгрузки яндекс доставки'], label=1.0),\n",
+    "  InputExample(texts=['ошибка дата отгрузки, полученная от яндекс.доставки', 'яндекс доставка ошибка сервиса доставки при выборе терминала отгрузки'], label=0.0),\n",
+    "]"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 6,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from torch.utils.data import DataLoader\n",
+    "pretrain_dataloader = DataLoader(pretrain_samples)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 7,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "8492aa648e8b4165a2696c46262135aa",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Epoch:   0%|          | 0/4 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "0923809b3c7d4baeb7732847fd2fc81f",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/7 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "de0f058e118a4c7394209899d462ff52",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/7 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "91ab1f49559541e69c48eb6c2dee09ab",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/7 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "11d14e7927d8451d9eba7d0e0475ae77",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/7 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    }
+   ],
+   "source": [
+    "model.fit(pretrain_dataloader, epochs=4, optimizer_params={'lr': 1e-1, 'eps': 1e-6})"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 8,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "array([  7.250268,   7.564313,  10.511606,  -5.297707, -10.485567],\n",
+       "      dtype=float32)"
+      ]
+     },
+     "execution_count": 8,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "model.predict([\n",
+    "  ('добрый день', 'здравствуйте'),\n",
+    "  ('добрый день', 'привет'),\n",
+    "  ('как исправить ошибку', 'как убрать ошибку'),\n",
+    "  ('какой сегодня прекрасный день', 'некорректный ответ не понял'),\n",
+    "  ('как настроить модуль яндекс доставка', 'как настроить модуль сдэк'),\n",
+    "])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 9,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "a9ad4a608aba412c94ea890018b3f904",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Epoch:   0%|          | 0/1 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "c0776393f80944cbac38e78b4bb43d3b",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/50 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    }
+   ],
+   "source": [
+    "model.fit(train_dataloader, epochs=1, optimizer_params={'lr': 1e-3, 'eps': 1e-6})"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 10,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "array([  6.8022833,   7.1733284,  10.234115 ,  -5.4563026, -10.522914 ],\n",
+       "      dtype=float32)"
+      ]
+     },
+     "execution_count": 10,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "model.predict([\n",
+    "  ('добрый день', 'здравствуйте'),\n",
+    "  ('добрый день', 'привет'),\n",
+    "  ('как исправить ошибку', 'как убрать ошибку'),\n",
+    "  ('какой сегодня прекрасный день', 'некорректный ответ не понял'),\n",
+    "  ('как настроить модуль яндекс доставка', 'как настроить модуль сдэк'),\n",
+    "])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 11,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "36256d415afb4b249b6609fb2329f799",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Batches:   0%|          | 0/25 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    }
+   ],
+   "source": [
+    "labels = [example.label for example in train_dataloader.dataset]\n",
+    "predicts = model.predict([example.texts for example in train_dataloader.dataset], show_progress_bar=True)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 12,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "0.0 0.65314835\n",
+      "=== почему кол-во пользователей в сегменте аудиторий отличается от кол-ва пользователей в сегменте в retailcrm? яндекс аудитория retailcrm\n",
+      "=== экспорт сегментов в вконтакте минимальное число контактов в сегменте для загрузки в вконтакте какое минимальное число контактов нужно загрузить в вконтакте\n",
+      "1.0 -9.538332\n",
+      "=== какие два случая рассматриваются в статье? digital pipeline почта россия\n",
+      "=== digital pipline принцип работы типа синхронизации точное соответствие какие два случая рассматриваются в статье\n",
+      "1.0 -0.25401944\n",
+      "=== превышен лимит количества контактов почта россия mailchimp\n",
+      "=== экспорт сегментов в mailchimp ошибка превышен лимит количества контактов превышен лимит количества контактов\n",
+      "1.0 -6.570962\n",
+      "=== как добавить клиентский аккаунт? маркетинговый расход почта россия\n",
+      "=== маркетинговые расходы добавление аккаунта представителя как добавить клиентский аккаунт\n",
+      "0.0 3.0155332\n",
+      "=== как подключить модуль sipuni?\n",
+      "подключение модуля sipuni sipuni\n",
+      "=== почта россии работа с маркировкой почта россии работа с маркировкой почта россии\n",
+      "0.0 0.5682208\n",
+      "=== как настроить/подключить модуль экспорт сегментов яндекс аудитории яндекс аудитория\n",
+      "=== экспорт сегментов в яндекс аудитории частота обновления сегментов в яндекс аудитории как часто обновляются уже созданные сегменты\n",
+      "0.0 6.7683535\n",
+      "=== как часто обновляются статусы почта россии?\n",
+      "какая частота обновления статусов почта россии в retailcrm почта россия retailcrm\n",
+      "=== импорт лидов facebook leads добавление дополнительной страницы facebook как добавить страницу facebook в retailcrm services\n",
+      "0.0 3.5910566\n",
+      "=== кейс: менеджер собирает заказ одним набором товарных позиций, далее добавляет 1-ую оплату.  \n",
+      "клиент ее оплачивает.  \n",
+      "менеджер по просьбе клиента добавляет в заказ новую позицию и добавляет новую оплату.  \n",
+      "клиент и ее оплачивает.  \n",
+      "и после подтверждения получает два чека. один — на сумму первой оплаты, в чеке корректно отображаются товарные позиции, и второй чек на сумму второй оплаты и с позицией \"аванс\". cloudpayments почта россия\n",
+      "=== экспорт сегментов в вконтакте минимальное число контактов в сегменте для загрузки в вконтакте какое минимальное число контактов нужно загрузить в вконтакте\n",
+      "1.0 -2.5233462\n",
+      "=== что произойдет при удалении оплаты? cloudpayments почта россия\n",
+      "=== cloudpayments перенос оплаты в платежных модулях на примере модуля cloudpayments что произойдет при удалении оплаты\n",
+      "0.0 4.6610775\n",
+      "=== отличие модулей яндекс.метрика в маркетплейс\n",
+      "чем отличается модуль яндекс метрика ткаченко от вашего? яндекс метрика\n",
+      "=== яндекс метрика почему не отображаются заказы в отчетах метрики загрузятся ли телефонные заказы в метрику \n",
+      "1.0 -9.697531\n",
+      "=== фильтры в списке обращений почта россия\n",
+      "=== продвинутый функционал фильтры в списке обращений фильтры в списке обращений\n",
+      "5.0 3.6328275\n",
+      "=== как решить проблему с ошибкой\n",
+      "=== как убрать ошибку\n",
+      "4.0 1.7188714\n",
+      "=== можете подсказать, что делать с ошибкой\n",
+      "=== как убрать ошибку\n",
+      "0.0 7.129506\n",
+      "=== не отображаются тарифы\n",
+      "=== не передаются тарифы\n",
+      "0.0 0.903283\n",
+      "=== почему количество пользователей отличается\n",
+      "=== почему clientid отличается\n",
+      "1.0 -1.9656792\n",
+      "=== что означает галка 'доставка курьером'\n",
+      "=== что означает галка доставка курьером\n",
+      "0.0 2.8144162\n",
+      "=== почта россии\n",
+      "=== яндекс доставка\n",
+      "0.0 8.619669\n",
+      "=== unisender\n",
+      "=== яндекс доставка\n",
+      "0.0 3.990125\n",
+      "=== альфабанк\n",
+      "=== яндекс доставка\n",
+      "0.0 1.2026126\n",
+      "=== почта россии\n",
+      "=== яндекс аудитории\n",
+      "0.0 6.3785267\n",
+      "=== sipuni\n",
+      "=== cloudpayments\n",
+      "0.0 8.150368\n",
+      "=== sipuni\n",
+      "=== facebook\n",
+      "0.0 8.385334\n",
+      "=== robokassa\n",
+      "=== вконтакте\n",
+      "0.0 2.1733193\n",
+      "=== robokassa\n",
+      "=== digital pipeline\n",
+      "0.0 10.423201\n",
+      "=== facebook\n",
+      "=== вконтакте\n",
+      "0.0 5.420491\n",
+      "=== facebook\n",
+      "=== mailchimp\n",
+      "0.0 0.3983256\n",
+      "=== почта россии\n",
+      "=== cloudpayments\n"
+     ]
+    }
+   ],
+   "source": [
+    "import math\n",
+    "\n",
+    "for label, predict, example in zip(labels, predicts, train_dataloader.dataset):\n",
+    "    label1 = 1.0 if math.copysign(1, predict) == 1.0 else 0.0\n",
+    "    if (label != label1):\n",
+    "        print(label, predict)\n",
+    "        print('===', example.texts[0])\n",
+    "        print('===', example.texts[1])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "base",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.10.9"
+  },
+  "orig_nbformat": 4
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}

list_questions.ipynb

@@ -0,0 +1,241 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from list_questions import load_questions\n",
+    "from extract_keywords import extract_keywords, kw_model, vectorizer"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "questions = load_questions('omnidesk-ai-chatgpt-questions.sqlite')"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 4,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "Как долго рассматривается обращение на портале поддержки?\n",
+      "Не работает модуль СДЭК\n",
+      "Как деактивировать модуль?\n",
+      "Что произойдет, если я не деактивирую модуль после окончания пробного периода?\n",
+      "Как происходит оплата за использование модуля?\n",
+      "Модуль заморожен. Как включить/возобновить работу модуля?\n",
+      "Как вернуть оплату за использование модуля?\n",
+      "Возврат оплаты за модуль\n",
+      "Как активировать модуль?\n",
+      "Какие методы API ключа нужно разрешить для работы с модулем?\n",
+      "Фильтры в списке обращений\n",
+      "добрый день / здравствуйте\n",
+      "спасибо / до свидания\n",
+      "некорректный ответ, не понял\n",
+      "как убрать ошибку\n",
+      "позови человека/сотрудника/менеджера/оператора\n"
+     ]
+    }
+   ],
+   "source": [
+    "for q in questions:\n",
+    "  keywords = extract_keywords(q['query'])\n",
+    "  if (len(keywords) == 0):\n",
+    "    print(q['question'])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 5,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "экспорт сегментов в вконтакте\n"
+     ]
+    },
+    {
+     "data": {
+      "text/plain": [
+       "[]"
+      ]
+     },
+     "execution_count": 5,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "extract_keywords('экспорт сегментов в вконтакте')"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 14,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "[]"
+      ]
+     },
+     "execution_count": 14,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "kw_model.extract_keywords('экспорт сегментов в вконтакте', vectorizer=vectorizer)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 15,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "['почта россия',\n",
+       " 'почта',\n",
+       " 'почта рф',\n",
+       " 'пр',\n",
+       " 'gh',\n",
+       " 'почта россия трекинг',\n",
+       " 'пр трекинг',\n",
+       " 'почта трекинг',\n",
+       " 'пр трэкинг',\n",
+       " 'почта трэкинг',\n",
+       " 'реестр почта',\n",
+       " 'реестр пр',\n",
+       " 'реестр почта россия',\n",
+       " 'реестр пэк',\n",
+       " 'реквизит',\n",
+       " 'пешкарика',\n",
+       " 'импорт лид директ',\n",
+       " 'яндекс доставка экспресс',\n",
+       " 'яндекс доставка express',\n",
+       " 'яд экспресс',\n",
+       " 'ядоставка экспресс',\n",
+       " 'яндекс доставка ndd',\n",
+       " 'яд ндд',\n",
+       " 'я доставка ндд',\n",
+       " 'ядоставка ндд',\n",
+       " 'модуль ндд',\n",
+       " 'яндекс метрика',\n",
+       " 'яндекс метрика импорт',\n",
+       " 'альфабанк',\n",
+       " 'альфа банк',\n",
+       " 'alfabank',\n",
+       " 'альфа',\n",
+       " 'импорт лид facebook',\n",
+       " 'импорт лид fb',\n",
+       " 'загрузка лид fb',\n",
+       " 'лида фейсбук',\n",
+       " 'импорт лид фб',\n",
+       " 'fb lead',\n",
+       " 'маркетинговый расход',\n",
+       " 'расход',\n",
+       " 'загрузка расход',\n",
+       " 'cloudpayments',\n",
+       " 'клауд',\n",
+       " 'клаудпеймент',\n",
+       " 'клаудпейментс',\n",
+       " 'robokassa',\n",
+       " 'робокасса',\n",
+       " 'робокас',\n",
+       " 'sipuni',\n",
+       " 'сипуня',\n",
+       " 'сипьюня',\n",
+       " 'mailchimp',\n",
+       " 'майлчимп',\n",
+       " 'мейлчать',\n",
+       " 'мейлчимп',\n",
+       " 'unisender',\n",
+       " 'юнисендер',\n",
+       " 'яндекс аудитория',\n",
+       " 'экспорт аудитория',\n",
+       " 'экспорт яндекс аудитория',\n",
+       " 'экспорт facebook',\n",
+       " 'экспорт сегмент facebook',\n",
+       " 'экспорт fb',\n",
+       " 'экспорт фейсбук',\n",
+       " 'экспорт аудитория фб',\n",
+       " 'fb экспорт',\n",
+       " 'экспорт вк',\n",
+       " 'экспорт сегмент vkontakte',\n",
+       " 'экспорт vk',\n",
+       " 'экспорт контакт',\n",
+       " 'экспорт сегмент вконтакте',\n",
+       " 'retailcrm',\n",
+       " 'срм',\n",
+       " 'ритейл',\n",
+       " 'ритейл срм',\n",
+       " 'ритейлсрма',\n",
+       " 'retail crm',\n",
+       " 'ритейлцрма',\n",
+       " 'ритейл црм',\n",
+       " 'retailcrm services',\n",
+       " 'retailcrmservices',\n",
+       " 'ритейлцрма services',\n",
+       " 'лк crm services',\n",
+       " 'ритейлцрма сервисес',\n",
+       " 'ритейлсрма сервисес',\n",
+       " 'ритейлцрма сервис',\n",
+       " 'ритейлцрмсервисес',\n",
+       " 'ритейлсрмсервисес']"
+      ]
+     },
+     "execution_count": 15,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "vectorizer.vocabulary"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "base",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.10.9"
+  },
+  "orig_nbformat": 4
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}

list_questions.py

@@ -0,0 +1,42 @@
+import sqlite3, json
+from contextlib import closing
+from extract_keywords import extract_keywords
+
+punctuation = '!"#\'(),:;?[]^`}{'
+punctuation2 = '-/&._~+*=@<>[]\\'
+remove_punctuation = str.maketrans(punctuation2, ' ' * len(punctuation2), punctuation)
+
+def load_questions(sqlite_filename):
+  all_questions = []
+  with closing(sqlite3.connect(sqlite_filename)) as db:
+    db.row_factory = sqlite3.Row
+    with closing(db.cursor()) as cursor:
+      results = cursor.execute(
+        "SELECT id, articleId, title, category, section, questions FROM articles WHERE articleType = ? AND doNotUse IS NULL OR doNotUse = 0",
+        ('article',)
+      ).fetchall()
+      
+      for res in results:
+        section = res['section'].lower()
+        title = res['title'].lower()
+        if section == 'служебная информация':
+          section = ''
+          title = ''
+
+        questions = json.loads(res['questions'])
+        for q in questions:
+          q['query'] = " ".join(section.split() + title.split() + q['question'].split()).translate(remove_punctuation).lower()
+          q['articleId'] = res['articleId']
+        all_questions += questions
+        
+  return all_questions
+
+
+#print("Loading questions from db...")
+#questions = load_questions("omnidesk-ai-chatgpt-questions.sqlite")
+
+#for q in questions:
+#  keywords = extract_keywords(q['query'])
+#  if (len(keywords) == 0):
+#    print(q)
+#    break

reranking.py

@@ -1,7 +1,8 @@
 from pathlib import Path
 from sentence_transformers.cross_encoder import CrossEncoder
 from more_itertools import windowed
-model = CrossEncoder('cross-encoder/mmarco-mMiniLMv2-L12-H384-v1', max_length=512, device='cpu')
+#model = CrossEncoder('cross-encoder/mmarco-mMiniLMv2-L12-H384-v1', max_length=512, device='cpu')
+model = CrossEncoder('retailcrmservices/crossencoder-mMiniLMv2-L12-H384-v1-ru', max_length=512, device='cpu')
 
 def rerank(sentence_combinations):
   similarity_scores = model.predict(sentence_combinations)

test_sbert.ipynb

@@ -0,0 +1,320 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from sentence_transformers import CrossEncoder"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "2023-08-20 23:39:32.598364: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Could not find TensorRT\n"
+     ]
+    }
+   ],
+   "source": [
+    "model = CrossEncoder('cross-encoder/mmarco-mMiniLMv2-L12-H384-v1')"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 3,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "array([-4.4115596, -3.8891914], dtype=float32)"
+      ]
+     },
+     "execution_count": 3,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "model.predict(\n",
+    "  [\n",
+    "    ('как исправить ошибку', 'как убрать ошибку'),\n",
+    "    ('добрый день', 'привет'),\n",
+    "  ]\n",
+    ")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 4,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from sentence_transformers import InputExample\n",
+    "train_samples = [\n",
+    "  InputExample(texts=['как настроить модуль', 'как настроить модуль'], label=1.0),\n",
+    "  InputExample(texts=['как настроить модуль яндекс доставка', 'как настроить модуль почта россии'], label=0.0),\n",
+    "]"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 5,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from torch.utils.data import DataLoader\n",
+    "train_dataloader = DataLoader(train_samples)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 6,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "e8062b9c6b4b47619bccaa0d18beec23",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Epoch:   0%|          | 0/10 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "2f5f91e57ea94671ac197c3f253ba29e",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/2 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "59daed18b9ac4b438def689dad8adccd",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/2 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "d27ce1dccdca437fa5f319687405a90b",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/2 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "949c302a01c642c29b80a79c25b6a449",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/2 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "8c5ce379a69d4d88a8ecfbe16dee6e4b",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/2 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "cf8929bca29c4765bc2214e4b6b1ca6c",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/2 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "270c365e0c984d5ba1099c637e7c2632",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/2 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "71f789e96b30453da3d71a428c2870c6",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/2 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "e8161252067e4cf283df577bb3bb70f4",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/2 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    },
+    {
+     "data": {
+      "application/vnd.jupyter.widget-view+json": {
+       "model_id": "9de909bafcd5453fac96198158d5dc00",
+       "version_major": 2,
+       "version_minor": 0
+      },
+      "text/plain": [
+       "Iteration:   0%|          | 0/2 [00:00<?, ?it/s]"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    }
+   ],
+   "source": [
+    "model.fit(train_dataloader, epochs=10, optimizer_params={'lr': 1e-1, 'eps': 1e-6})"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 7,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "array([11.245676], dtype=float32)"
+      ]
+     },
+     "execution_count": 7,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "model.predict(\n",
+    "  [('test', 'test')]\n",
+    ")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 13,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "array([ 1.686686 ,  2.3622127,  9.887518 , -9.177755 , -6.320711 ],\n",
+       "      dtype=float32)"
+      ]
+     },
+     "execution_count": 13,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "model.predict([\n",
+    "  ('добрый день', 'здравствуйте'),\n",
+    "  ('добрый день', 'привет'),\n",
+    "  ('как исправить ошибку', 'как убрать ошибку'),\n",
+    "  ('какой сегодня прекрасный день', 'некорректный ответ не понял'),\n",
+    "  ('как настроить модуль яндекс доставка', 'как настроить модуль сдэк'),\n",
+    "])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "base",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.10.9"
+  },
+  "orig_nbformat": 4
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}