finetune_crossencoder.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "from list_questions import load_questions\n",
    "from extract_keywords import extract_keywords, extract_keywords2\n",
    "db_name = 'omnidesk-ai-chatgpt-questions.sqlite'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sentence_transformers import InputExample\n",
    "import random\n",
    "\n",
    "def get_user_question(q):\n",
    "    keywords = extract_keywords2(q['query'])\n",
    "    return ' '.join([q['question'].strip(), ' '.join(keywords)]).lower()\n",
    "  \n",
    "def get_system_question(q):\n",
    "    return q['query'].lower()\n",
    "  \n",
    "def get_negative_system_question(q, all_questions):\n",
    "    negative_q = random.choice(list(filter(lambda q2: q['query'] != q2['query'], all_questions)))\n",
    "    return negative_q['query'].lower()\n",
    "\n",
    "def input_example_generator():\n",
    "    all_questions = list(load_questions(db_name))\n",
    "    for q in all_questions:\n",
    "        yield InputExample(texts=[get_user_question(q), get_system_question(q)], label=1.0)\n",
    "        yield InputExample(texts=[get_user_question(q), get_negative_system_question(q, all_questions)], label=0.0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "from torch.utils.data import IterableDataset, DataLoader\n",
    "\n",
    "additional_examples = [\n",
    "  InputExample(texts=['добрый день', 'добрый день, здравствуйте'], label=1.0),\n",
    "  InputExample(texts=['здравствуйте', 'добрый день, здравствуйте'], label=1.0),\n",
    "  InputExample(texts=['привет', 'добрый день, здравствуйте'], label=1.0),\n",
    "  InputExample(texts=['спасибо', 'спасибо, до свидания'], label=1.0),\n",
    "  InputExample(texts=['до свидания', 'спасибо, до свидания'], label=1.0),\n",
    "  InputExample(texts=['не понял', 'некорректный ответ, не понял'], label=1.0),\n",
    "  InputExample(texts=['некорректный ответ', 'некорректный ответ, не понял'], label=1.0),\n",
    "  InputExample(texts=['как убрать ошибку', 'как убрать ошибку'], label=1.0),\n",
    "  InputExample(texts=['как устранить ошибку', 'как убрать ошибку'], label=1.0),\n",
    "  InputExample(texts=['как решить проблему с ошибкой', 'как убрать ошибку'], label=1.0),\n",
    "  InputExample(texts=['есть ли способ устранить ошибку', 'как убрать ошибку'], label=1.0),\n",
    "  InputExample(texts=['каким образом можно избавиться от ошибки', 'как убрать ошибку'], label=1.0),\n",
    "  InputExample(texts=['позови человека', 'позови человека сотрудника менеджера оператора'], label=1.0),\n",
    "  InputExample(texts=['позови сотрудника', 'позови человека сотрудника менеджера оператора'], label=1.0),\n",
    "  InputExample(texts=['позови менеджера', 'позови человека сотрудника менеджера оператора'], label=1.0),\n",
    "  InputExample(texts=['позови оператора', 'позови человека сотрудника менеджера оператора'], label=1.0),\n",
    "  InputExample(texts=['оператор', 'позови человека сотрудника менеджера оператора'], label=1.0),\n",
    "  InputExample(texts=['человек', 'позови человека сотрудника менеджера оператора'], label=1.0),\n",
    "  \n",
    "  # special cases\n",
    "  InputExample(texts=['можете подсказать, что делать с ошибкой', 'как убрать ошибку'], label=4.0),\n",
    "  InputExample(texts=['что произойдет при удалении оплаты cloudpayments', 'cloudpayments перенос оплаты в платежных модулях на примере модуля cloudpayments что произойдет при удалении оплаты'], label=1.0),\n",
    "  InputExample(texts=['превышен лимит количества контактов unisender', 'экспорт сегментов в unisender ошибка превышен лимит количества контактов для текущего превышен лимит количества контактов'], label=1.0),\n",
    "  InputExample(texts=['не отображаются тарифы', 'не передаются тарифы'], label=0.0),\n",
    "  \n",
    "  # ???\n",
    "  InputExample(texts=['почему количество пользователей отличается', 'почему clientid отличается'], label=0.0),\n",
    "  InputExample(texts=['что означает галка \\'доставка курьером\\'', 'что означает галка доставка курьером'], label=1.0),\n",
    "  \n",
    "  InputExample(texts=['почта россии', 'яндекс доставка'], label=0.0),\n",
    "  InputExample(texts=['почта россии', 'яндекс метрика'], label=0.0),\n",
    "  InputExample(texts=['яндекс доставка', 'яндекс метрика'], label=0.0),\n",
    "  InputExample(texts=['unisender', 'яндекс доставка'], label=0.0),\n",
    "  InputExample(texts=['альфабанк', 'яндекс доставка'], label=0.0),\n",
    "  InputExample(texts=['почта россии', 'яндекс аудитории'], label=0.0),\n",
    "  InputExample(texts=['sipuni', 'cloudpayments'], label=0.0),\n",
    "  InputExample(texts=['sipuni', 'facebook'], label=0.0),\n",
    "  InputExample(texts=['robokassa', 'вконтакте'], label=0.0),\n",
    "  InputExample(texts=['robokassa', 'digital pipeline'], label=0.0),\n",
    "  InputExample(texts=['facebook', 'вконтакте'], label=0.0),\n",
    "  InputExample(texts=['facebook', 'mailchimp'], label=0.0),\n",
    "  InputExample(texts=['почта россии', 'cloudpayments'], label=0.0),\n",
    "]\n",
    "\n",
    "train_dataloader = DataLoader(list(input_example_generator()) + additional_examples, batch_size=16)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Pretrain"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2023-08-22 14:47:41.400087: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Could not find TensorRT\n"
     ]
    }
   ],
   "source": [
    "from sentence_transformers import CrossEncoder\n",
    "model = CrossEncoder('cross-encoder/mmarco-mMiniLMv2-L12-H384-v1')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sentence_transformers import InputExample\n",
    "pretrain_samples = [\n",
    "  #InputExample(texts=['тест', 'тест'], label=1.0),\n",
    "  InputExample(texts=['пока', 'до свидания'], label=1.0),\n",
    "  InputExample(texts=['как настроить модуль', 'как настроить модуль'], label=1.0),\n",
    "  InputExample(texts=['как настроить модуль яндекс доставка', 'как настроить модуль почта россии'], label=0.0),\n",
    "  InputExample(texts=['как настроить модуль почта россии', 'как настроить модуль robokassa'], label=0.0),\n",
    "  InputExample(texts=['как настроить модуль яндекс доставка', 'как настроить модуль robokassa'], label=0.0),\n",
    "  # InputExample(texts=['ошибка сервиса доставки почта россии', 'ошибка сервиса почта россии'], label=1.0),\n",
    "  InputExample(texts=['ошибка дата отгрузки, полученная от яндекс.доставки', 'ошибка даты отгрузки яндекс доставки'], label=1.0),\n",
    "  InputExample(texts=['ошибка дата отгрузки, полученная от яндекс.доставки', 'яндекс доставка ошибка сервиса доставки при выборе терминала отгрузки'], label=0.0),\n",
    "]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "from torch.utils.data import DataLoader\n",
    "pretrain_dataloader = DataLoader(pretrain_samples)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "8492aa648e8b4165a2696c46262135aa",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Epoch:   0%|          | 0/4 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "0923809b3c7d4baeb7732847fd2fc81f",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Iteration:   0%|          | 0/7 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "de0f058e118a4c7394209899d462ff52",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Iteration:   0%|          | 0/7 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "91ab1f49559541e69c48eb6c2dee09ab",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Iteration:   0%|          | 0/7 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "11d14e7927d8451d9eba7d0e0475ae77",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Iteration:   0%|          | 0/7 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "model.fit(pretrain_dataloader, epochs=4, optimizer_params={'lr': 1e-1, 'eps': 1e-6})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([  7.250268,   7.564313,  10.511606,  -5.297707, -10.485567],\n",
       "      dtype=float32)"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.predict([\n",
    "  ('добрый день', 'здравствуйте'),\n",
    "  ('добрый день', 'привет'),\n",
    "  ('как исправить ошибку', 'как убрать ошибку'),\n",
    "  ('какой сегодня прекрасный день', 'некорректный ответ не понял'),\n",
    "  ('как настроить модуль яндекс доставка', 'как настроить модуль сдэк'),\n",
    "])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "a9ad4a608aba412c94ea890018b3f904",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Epoch:   0%|          | 0/1 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "c0776393f80944cbac38e78b4bb43d3b",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Iteration:   0%|          | 0/50 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "model.fit(train_dataloader, epochs=1, optimizer_params={'lr': 1e-3, 'eps': 1e-6})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([  6.8022833,   7.1733284,  10.234115 ,  -5.4563026, -10.522914 ],\n",
       "      dtype=float32)"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.predict([\n",
    "  ('добрый день', 'здравствуйте'),\n",
    "  ('добрый день', 'привет'),\n",
    "  ('как исправить ошибку', 'как убрать ошибку'),\n",
    "  ('какой сегодня прекрасный день', 'некорректный ответ не понял'),\n",
    "  ('как настроить модуль яндекс доставка', 'как настроить модуль сдэк'),\n",
    "])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "36256d415afb4b249b6609fb2329f799",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Batches:   0%|          | 0/25 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "labels = [example.label for example in train_dataloader.dataset]\n",
    "predicts = model.predict([example.texts for example in train_dataloader.dataset], show_progress_bar=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.0 0.65314835\n",
      "=== почему кол-во пользователей в сегменте аудиторий отличается от кол-ва пользователей в сегменте в retailcrm? яндекс аудитория retailcrm\n",
      "=== экспорт сегментов в вконтакте минимальное число контактов в сегменте для загрузки в вконтакте какое минимальное число контактов нужно загрузить в вконтакте\n",
      "1.0 -9.538332\n",
      "=== какие два случая рассматриваются в статье? digital pipeline почта россия\n",
      "=== digital pipline принцип работы типа синхронизации точное соответствие какие два случая рассматриваются в статье\n",
      "1.0 -0.25401944\n",
      "=== превышен лимит количества контактов почта россия mailchimp\n",
      "=== экспорт сегментов в mailchimp ошибка превышен лимит количества контактов превышен лимит количества контактов\n",
      "1.0 -6.570962\n",
      "=== как добавить клиентский аккаунт? маркетинговый расход почта россия\n",
      "=== маркетинговые расходы добавление аккаунта представителя как добавить клиентский аккаунт\n",
      "0.0 3.0155332\n",
      "=== как подключить модуль sipuni?\n",
      "подключение модуля sipuni sipuni\n",
      "=== почта россии работа с маркировкой почта россии работа с маркировкой почта россии\n",
      "0.0 0.5682208\n",
      "=== как настроить/подключить модуль экспорт сегментов яндекс аудитории яндекс аудитория\n",
      "=== экспорт сегментов в яндекс аудитории частота обновления сегментов в яндекс аудитории как часто обновляются уже созданные сегменты\n",
      "0.0 6.7683535\n",
      "=== как часто обновляются статусы почта россии?\n",
      "какая частота обновления статусов почта россии в retailcrm почта россия retailcrm\n",
      "=== импорт лидов facebook leads добавление дополнительной страницы facebook как добавить страницу facebook в retailcrm services\n",
      "0.0 3.5910566\n",
      "=== кейс: менеджер собирает заказ одним набором товарных позиций, далее добавляет 1-ую оплату.  \n",
      "клиент ее оплачивает.  \n",
      "менеджер по просьбе клиента добавляет в заказ новую позицию и добавляет новую оплату.  \n",
      "клиент и ее оплачивает.  \n",
      "и после подтверждения получает два чека. один — на сумму первой оплаты, в чеке корректно отображаются товарные позиции, и второй чек на сумму второй оплаты и с позицией \"аванс\". cloudpayments почта россия\n",
      "=== экспорт сегментов в вконтакте минимальное число контактов в сегменте для загрузки в вконтакте какое минимальное число контактов нужно загрузить в вконтакте\n",
      "1.0 -2.5233462\n",
      "=== что произойдет при удалении оплаты? cloudpayments почта россия\n",
      "=== cloudpayments перенос оплаты в платежных модулях на примере модуля cloudpayments что произойдет при удалении оплаты\n",
      "0.0 4.6610775\n",
      "=== отличие модулей яндекс.метрика в маркетплейс\n",
      "чем отличается модуль яндекс метрика ткаченко от вашего? яндекс метрика\n",
      "=== яндекс метрика почему не отображаются заказы в отчетах метрики загрузятся ли телефонные заказы в метрику \n",
      "1.0 -9.697531\n",
      "=== фильтры в списке обращений почта россия\n",
      "=== продвинутый функционал фильтры в списке обращений фильтры в списке обращений\n",
      "5.0 3.6328275\n",
      "=== как решить проблему с ошибкой\n",
      "=== как убрать ошибку\n",
      "4.0 1.7188714\n",
      "=== можете подсказать, что делать с ошибкой\n",
      "=== как убрать ошибку\n",
      "0.0 7.129506\n",
      "=== не отображаются тарифы\n",
      "=== не передаются тарифы\n",
      "0.0 0.903283\n",
      "=== почему количество пользователей отличается\n",
      "=== почему clientid отличается\n",
      "1.0 -1.9656792\n",
      "=== что означает галка 'доставка курьером'\n",
      "=== что означает галка доставка курьером\n",
      "0.0 2.8144162\n",
      "=== почта россии\n",
      "=== яндекс доставка\n",
      "0.0 8.619669\n",
      "=== unisender\n",
      "=== яндекс доставка\n",
      "0.0 3.990125\n",
      "=== альфабанк\n",
      "=== яндекс доставка\n",
      "0.0 1.2026126\n",
      "=== почта россии\n",
      "=== яндекс аудитории\n",
      "0.0 6.3785267\n",
      "=== sipuni\n",
      "=== cloudpayments\n",
      "0.0 8.150368\n",
      "=== sipuni\n",
      "=== facebook\n",
      "0.0 8.385334\n",
      "=== robokassa\n",
      "=== вконтакте\n",
      "0.0 2.1733193\n",
      "=== robokassa\n",
      "=== digital pipeline\n",
      "0.0 10.423201\n",
      "=== facebook\n",
      "=== вконтакте\n",
      "0.0 5.420491\n",
      "=== facebook\n",
      "=== mailchimp\n",
      "0.0 0.3983256\n",
      "=== почта россии\n",
      "=== cloudpayments\n"
     ]
    }
   ],
   "source": [
    "import math\n",
    "\n",
    "for label, predict, example in zip(labels, predicts, train_dataloader.dataset):\n",
    "    label1 = 1.0 if math.copysign(1, predict) == 1.0 else 0.0\n",
    "    if (label != label1):\n",
    "        print(label, predict)\n",
    "        print('===', example.texts[0])\n",
    "        print('===', example.texts[1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "base",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.9"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}