File size: 9,051 Bytes
8576086 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 |
{
"cells": [
{
"cell_type": "markdown",
"id": "96d8a976",
"metadata": {},
"source": [
"# Summarizer\n",
"This script is used for summarizing Czech news texts as well as for generating news headlines or abstracts. It can be considered as a demonstration for the application of our summarization models.\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "5e7da404",
"metadata": {},
"outputs": [],
"source": [
"#dependencies\n",
"import torch as pt\n",
"import numpy as np\n",
"\n",
"from collections import OrderedDict\n",
"\n",
"from transformers import AutoModelForSeq2SeqLM\n",
"from transformers import AutoTokenizer\n",
"\n",
"from sentence_splitter import SentenceSplitter, split_text_into_sentences\n",
"\n",
"#init Summarizer\n",
"#comment cuda and delete .to(cuda) if using cpuUse\n",
"class Summarizer:\n",
" def __init__(self,model, tokenizer, inference_cfg):\n",
" self.model = model\n",
" self.model.cuda()\n",
" self.tokenizer = tokenizer\n",
" self.inference_cfg = inference_cfg\n",
" self.enc_max_len = 512\n",
" \n",
" #tokenize & summarize input texts\n",
" def __call__(self, texts, inference_cfg=None):\n",
" if type(texts) == str:\n",
" texts = [texts]\n",
" assert type(texts) == list and type(texts[0]) == str, \"Expected string or list of strings\"\n",
" summaries = []\n",
" self.inference_cfg = inference_cfg if inference_cfg is not None else self.inference_cfg\n",
" for text in texts:\n",
" text = self.tokenizer.eos_token.join(SentenceSplitter(language='cs').split(text))\n",
" ttext = self.tokenizer(text,max_length = self.enc_max_len, truncation=True, padding=\"max_length\",return_tensors=\"pt\")\n",
" summaries.append(self._summarize(ttext,**self.inference_cfg)[0])\n",
" return summaries\n",
" \n",
" #summarize batch of data\n",
" def _summarize(self, data, num_beams=1, do_sample=False, \n",
" top_k=50, \n",
" top_p=1.0,\n",
" temperature=1.0,\n",
" repetition_penalty=1.0,\n",
" no_repeat_ngram_size = None,\n",
" max_length=1024,\n",
" min_length=10,\n",
" decode_decoder_ids = False,\n",
" early_stopping = False,**kwargs):\n",
" summary = model.generate(input_ids=data[\"input_ids\"].to(\"cuda\"),attention_mask=data[\"attention_mask\"].to(\"cuda\"),\n",
" num_beams= num_beams,\n",
" do_sample= do_sample,\n",
" top_k=top_k,\n",
" top_p=top_p,\n",
" temperature=temperature,\n",
" repetition_penalty=repetition_penalty,\n",
" max_length=max_length,\n",
" min_length=min_length,\n",
" early_stopping=early_stopping,\n",
" forced_bos_token_id=tokenizer.lang_code_to_id['cs_CZ'])\n",
" return self.tokenizer.batch_decode(summary,skip_special_tokens=True)\n",
"\n",
"\n"
]
},
{
"cell_type": "markdown",
"id": "b0000a6c",
"metadata": {},
"source": [
"# Use\n",
"- Load Czech summarization model from https://huggingface.co/krotima1\n",
"- Summarize Czech news texts\n",
"- Play with summarization parameters"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "b610bdee",
"metadata": {},
"outputs": [],
"source": [
"# Summarization config, setting up hyperparameters of inference methods used during summarization\n",
"def summ_config():\n",
" cfg = OrderedDict([\n",
" # summarization model - checkpoint from website https://huggingface.co/krotima1\n",
" (\"model_name\", \"krotima1/mbart-ht2a-cs\"),\n",
" \n",
" #inference configuration of summ parameters\n",
" (\"inference_cfg\", OrderedDict([\n",
" (\"num_beams\", 4),\n",
" (\"top_k\", 40),\n",
" (\"top_p\", 0.92),\n",
" (\"do_sample\", True),\n",
" (\"temperature\", 0.89),\n",
" (\"repetition_penalty\", 1.2),\n",
" (\"no_repeat_ngram_size\", None),\n",
" (\"early_stopping\", True),\n",
" # (\"max_length\", 96),\n",
" (\"min_length\", 10),\n",
" ])),\n",
" #texts to summarize\n",
" (\"text\",\n",
" [\n",
" \"Input your Czech text\",\n",
" ]\n",
" ),\n",
" ])\n",
" return cfg\n",
"cfg = summ_config()\n",
"#load model & tokenizer\n",
"model = AutoModelForSeq2SeqLM.from_pretrained(cfg[\"model_name\"])\n",
"tokenizer = AutoTokenizer.from_pretrained(cfg[\"model_name\"])\n",
"#init summarizer\n",
"summarize = Summarizer(model, tokenizer, cfg[\"inference_cfg\"])\n",
"#summarize Czech texts - jdem na to\n",
"#cfg[\"text\"]=...\n",
"summarize(cfg[\"text\"])"
]
},
{
"cell_type": "markdown",
"id": "0e907f6a",
"metadata": {},
"source": [
"#### Change text to summarize"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "b2c66c10",
"metadata": {},
"outputs": [],
"source": [
"cfg[\"text\"] = \"Nováčci, které stvořila soutěž Česko hledá SuperStar, vstoupí do konkurence s osvědčenými jmény domácího trhu. Jedním z nich je Lucie Bílá, která vydá kolekci hitů nazvanou Láska je láska. Naopak její kolegyně Anna K. bude mít zbrusu nové písně. Styl alba Anna K.: Noc na zemi prý připomíná rockový nářez s místy až mrazivým soundem.\\nDo společnosti hvězd se vypracoval drsný zpěvák Daniel Landa, jehož album Neofolk vyjde začátkem října. \\\"Na desce jsou písničky, které zdáli folk připomínají. Více než dříve kladu důraz na jejich texty. Neofolk mi přijde jako větší vykřičník a jistě i zlobivější název. Jinak je to bigbít i folk. Po obsahu,\\\" míní Landa, který pracuje na dvou muzikálech. Navíc v listopadu vydá záznam z vyšehradského koncertu, na kterém zpíval písně Karla Kryla.\\nKarel Plíhal si zase oblíbil básníka Josefa Kainara, jemuž vzdává hold na desce Nebe na zemi. Práce na tomto dlouho odkládaném a několikrát ohlašovaném albu se protáhly na šest let. Za tu dobu Plíhal nastudoval Kainarovu tvorbu a našel způsob, kterým by ji nejlépe vyjádřil. Stačí mu k tomu kytara, hlas a hostující zpěvačka Zuzana Navarová.\\nPetr Muk si vybral jiné oblíbence: britskou kapelu Erasure, se kterou kdysi jako vokalista kapely Oceán odehrál 27 koncertů ve Velké Británii a Irsku. Na minialbu Oh L\\\"Amour chce Muk představit některé jejich písně.\\nKoncem září se objeví novinka kapely Kryštof. Třetí album Mikrokosmos vznikalo pod dohledem Jana P. Muchowa, který si přál, aby kryštofovská muzika zněla maximálně živě, bez elektronických či jiných efektů. Hit Srdce, který se dostal do vysílání hudební televize MTV, byl vybrán jako propagační píseň.\\nŘíká se, že třetí album je rozhodující. Přesvědčí se o tom i kapela MIG 21, soustředěná kolem herce a zpěváka Jiřího Macháčka. Jejich nová deska Pop Pop Pop ukazuje směr, kterým MIG 21 poletí. Méně se ví o listopadovém albu Midlife skupiny Support Lesbiens, která letos propustila kytaristu a skladatele Yardu Helešice a buduje nový hudební profil.\\nRuku v ruce s nástupem hudebních DVD přibudou tituly bratří Ebenů, kapel Divokej Bill, Monkey Business nebo Kabát. Teplická formace se chce ohlédnout za dvěma masivními turné let 2003 a 2004, která jí zajistila postavení nejžádanější skupiny v Česku.\""
]
},
{
"cell_type": "markdown",
"id": "5758250c",
"metadata": {},
"source": [
"#### summarize"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "883b49e9",
"metadata": {},
"outputs": [],
"source": [
"summarize(cfg[\"text\"])"
]
}
],
"metadata": {
"kernelspec": {
"display_name": "Python 3",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.6.8"
}
},
"nbformat": 4,
"nbformat_minor": 5
}
|