Summarizer.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "22da4371",
   "metadata": {},
   "source": [
    "# Summarizer\n",
    "This script is used for summarizing Czech news texts as well as for generating news headlines or abstracts. It can be considered as a demonstration for the application of our summarization models.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "99dc0be0",
   "metadata": {},
   "outputs": [],
   "source": [
    "#dependencies\n",
    "import torch as pt\n",
    "import numpy as np\n",
    "\n",
    "from collections import OrderedDict\n",
    "\n",
    "from transformers import AutoModelForSeq2SeqLM\n",
    "from transformers import  AutoTokenizer\n",
    "\n",
    "from sentence_splitter import SentenceSplitter, split_text_into_sentences\n",
    "\n",
    "#init Summarizer\n",
    "#comment cuda and delete .to(cuda) if using cpuUse\n",
    "class Summarizer:\n",
    "    def __init__(self,model, tokenizer, inference_cfg):\n",
    "        self.model = model\n",
    "        self.model.cuda()\n",
    "        self.tokenizer = tokenizer\n",
    "        self.inference_cfg = inference_cfg\n",
    "        self.enc_max_len = 512\n",
    "    \n",
    "    #tokenize & summarize input texts\n",
    "    def __call__(self, texts, inference_cfg=None):\n",
    "        if type(texts) == str:\n",
    "            texts = [texts]\n",
    "        assert type(texts) == list and type(texts[0]) == str, \"Expected string or list of strings\"\n",
    "        summaries = []\n",
    "        self.inference_cfg = inference_cfg if inference_cfg is not None else self.inference_cfg\n",
    "        for text in texts:\n",
    "            text = self.tokenizer.eos_token.join(SentenceSplitter(language='cs').split(text))\n",
    "            ttext = self.tokenizer(text,max_length = self.enc_max_len, truncation=True, padding=\"max_length\",return_tensors=\"pt\")\n",
    "            summaries.append(self._summarize(ttext,**self.inference_cfg)[0])\n",
    "        return summaries\n",
    "    \n",
    "    #summarize batch of data\n",
    "    def _summarize(self, data, num_beams=1, do_sample=False, \n",
    "                    top_k=50, \n",
    "                    top_p=1.0,\n",
    "                    temperature=1.0,\n",
    "                    repetition_penalty=1.0,\n",
    "                    no_repeat_ngram_size = None,\n",
    "                    max_length=1024,\n",
    "                    min_length=10,\n",
    "                    decode_decoder_ids = False,\n",
    "                    early_stopping = False,**kwargs):\n",
    "        summary = model.generate(input_ids=data[\"input_ids\"].to(\"cuda\"),attention_mask=data[\"attention_mask\"].to(\"cuda\"),\n",
    "                                    num_beams= num_beams,\n",
    "                                   do_sample= do_sample,\n",
    "                                   top_k=top_k,\n",
    "                                   top_p=top_p,\n",
    "                                   temperature=temperature,\n",
    "                                   repetition_penalty=repetition_penalty,\n",
    "                                   max_length=max_length,\n",
    "                                   min_length=min_length,\n",
    "                                   early_stopping=early_stopping,\n",
    "                                 forced_bos_token_id=tokenizer.lang_code_to_id['cs_CZ'])\n",
    "        return self.tokenizer.batch_decode(summary,skip_special_tokens=True)\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "24195d3c",
   "metadata": {},
   "source": [
    "# Use\n",
    "- Load Czech summarization model from https://huggingface.co/krotima1\n",
    "- Summarize Czech news texts\n",
    "- Play with summarization parameters"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "343ddf97",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "915f91449a8a43458945118791b2654a",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading:   0%|          | 0.00/480 [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "432868a8c6164fe8b681d999a5fef236",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading:   0%|          | 0.00/8.66M [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "819f555f4bce4fdea3db21fe6c298975",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading:   0%|          | 0.00/495 [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/krotima1/projects/python/environment/venv/lib64/python3.6/site-packages/transformers/generation_utils.py:2142: UserWarning: __floordiv__ is deprecated, and its behavior will change in a future version of pytorch. It currently rounds toward 0 (like the 'trunc' function NOT 'floor'). This results in incorrect rounding for negative values. To keep the current behavior, use torch.div(a, b, rounding_mode='trunc'), or for actual floor division, use torch.div(a, b, rounding_mode='floor').\n",
      "  next_indices = next_tokens // vocab_size\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "['Czech text Input your Czech text Komentář']"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Summarization config, setting up hyperparameters of inference methods used during summarization\n",
    "def summ_config():\n",
    "    cfg = OrderedDict([\n",
    "        # summarization model - checkpoint from website https://huggingface.co/krotima1\n",
    "        (\"model_name\", \"krotima1/mbart-at2h-c\"),\n",
    "        \n",
    "        #inference configuration of summ parameters\n",
    "        (\"inference_cfg\", OrderedDict([\n",
    "            (\"num_beams\", 4),\n",
    "            (\"top_k\", 40),\n",
    "            (\"top_p\", 0.92),\n",
    "            (\"do_sample\", True),\n",
    "            (\"temperature\", 0.89),\n",
    "            (\"repetition_penalty\", 1.2),\n",
    "            (\"no_repeat_ngram_size\", None),\n",
    "            (\"early_stopping\", True),\n",
    "        #     (\"max_length\", 96),\n",
    "            (\"min_length\", 10),\n",
    "        ])),\n",
    "        #texts to summarize\n",
    "        (\"text\",\n",
    "            [\n",
    "                \"Input your Czech text\",\n",
    "            ]\n",
    "        ),\n",
    "    ])\n",
    "    return cfg\n",
    "cfg = summ_config()\n",
    "#load model & tokenizer\n",
    "model = AutoModelForSeq2SeqLM.from_pretrained(cfg[\"model_name\"])\n",
    "tokenizer = AutoTokenizer.from_pretrained(cfg[\"model_name\"])\n",
    "#init summarizer\n",
    "summarize = Summarizer(model, tokenizer, cfg[\"inference_cfg\"])\n",
    "#summarize Czech texts - jdem na to\n",
    "#cfg[\"text\"]=...\n",
    "summarize(cfg[\"text\"])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3f1ff982",
   "metadata": {},
   "source": [
    "#### Change text to summarize"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "2f698b53",
   "metadata": {},
   "outputs": [],
   "source": [
    "cfg[\"text\"] = \"Nováčci, které stvořila soutěž Česko hledá SuperStar, vstoupí do konkurence s osvědčenými jmény domácího trhu. Jedním z nich je Lucie Bílá, která vydá kolekci hitů nazvanou Láska je láska. Naopak její kolegyně Anna K. bude mít zbrusu nové písně. Styl alba Anna K.: Noc na zemi prý připomíná rockový nářez s místy až mrazivým soundem.\\nDo společnosti hvězd se vypracoval drsný zpěvák Daniel Landa, jehož album Neofolk vyjde začátkem října. \\\"Na desce jsou písničky, které zdáli folk připomínají. Více než dříve kladu důraz na jejich texty. Neofolk mi přijde jako větší vykřičník a jistě i zlobivější název. Jinak je to bigbít i folk. Po obsahu,\\\" míní Landa, který pracuje na dvou muzikálech. Navíc v listopadu vydá záznam z vyšehradského koncertu, na kterém zpíval písně Karla Kryla.\\nKarel Plíhal si zase oblíbil básníka Josefa Kainara, jemuž vzdává hold na desce Nebe na zemi. Práce na tomto dlouho odkládaném a několikrát ohlašovaném albu se protáhly na šest let. Za tu dobu Plíhal nastudoval Kainarovu tvorbu a našel způsob, kterým by ji nejlépe vyjádřil. Stačí mu k tomu kytara, hlas a hostující zpěvačka Zuzana Navarová.\\nPetr Muk si vybral jiné oblíbence: britskou kapelu Erasure, se kterou kdysi jako vokalista kapely Oceán odehrál 27 koncertů ve Velké Británii a Irsku. Na minialbu Oh L\\\"Amour chce Muk představit některé jejich písně.\\nKoncem září se objeví novinka kapely Kryštof. Třetí album Mikrokosmos vznikalo pod dohledem Jana P. Muchowa, který si přál, aby kryštofovská muzika zněla maximálně živě, bez elektronických či jiných efektů. Hit Srdce, který se dostal do vysílání hudební televize MTV, byl vybrán jako propagační píseň.\\nŘíká se, že třetí album je rozhodující. Přesvědčí se o tom i kapela MIG 21, soustředěná kolem herce a zpěváka Jiřího Macháčka. Jejich nová deska Pop Pop Pop ukazuje směr, kterým MIG 21 poletí. Méně se ví o listopadovém albu Midlife skupiny Support Lesbiens, která letos propustila kytaristu a skladatele Yardu Helešice a buduje nový hudební profil.\\nRuku v ruce s nástupem hudebních DVD přibudou tituly bratří Ebenů, kapel Divokej Bill, Monkey Business nebo Kabát. Teplická formace se chce ohlédnout za dvěma masivními turné let 2003 a 2004, která jí zajistila postavení nejžádanější skupiny v Česku.\""
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bf0ed831",
   "metadata": {},
   "source": [
    "#### summarize"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "ec0a0cbd",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Hvězdy SuperStar míří do konkurence: Bílá chystá kolekci hitů, Anna K. nové album']"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "summarize(cfg[\"text\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "28cce280",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}