Update README.md

README.md

@@ -1,4 +1,103 @@
 ---
 base_model: google/mt5-base
 pipeline_tag: text-classification
----
+tags:
+- summarization
+- mT5
+datasets:
+- csebuetnlp/xlsum
+- data-silence/sumnews
+language:
+- am
+- ar
+- az
+- bn
+- my
+- zh
+- en
+- fr
+- gu
+- ha
+- hi
+- ig
+- id
+- ja
+- rn
+- ko
+- ky
+- mr
+- ne
+- om
+- ps
+- fa
+- pcm
+- pt
+- pa
+- ru
+- gd
+- sr
+- si
+- so
+- es
+- sw
+- ta
+- te
+- th
+- ti
+- tr
+- uk
+- ur
+- uz
+- vi
+- cy
+- yo
+licenses:
+- cc-by-nc-sa-4.0
+library_name: transformers
+---
+
+# data-silence/any-news-sum
+
+This repository contains the mT5 checkpoint finetuned on the 45 languages of [XL-Sum](https://huggingface.co/datasets/csebuetnlp/xlsum) dataset and trained on the summarization task. 
+The model is designed to simultaneously generate a headline and a summary of a news story based on its full content. 
+The primary focus of the training was on Russian language operation, but to some extent the model will work on text in any language supported by the mT5 mother model and XL-Sum dataset. 
+
+
+## Using this model in `transformers`
+
+```python
+import torch
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, DataCollatorForSeq2Seq
+
+# Загрузка модели и токенизатора
+model_name = "data-silence/any-news-sum"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+
+device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+
+
+def generate_summary_with_special_tokens(text, max_length=600):
+    inputs = tokenizer(text, return_tensors="pt", max_length=512, truncation=True).to(device)
+    
+    outputs = model.generate(
+        **inputs,
+        max_length=max_length,
+        num_return_sequences=1,
+        no_repeat_ngram_size=4,
+        # early_stopping=True
+    )
+    
+    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=False)
+    
+    # Разделение на заголовок и резюме
+    parts = generated_text.split('<title_resume_sep>')
+    title = parts[0].replace("<pad> ", "").strip()
+    resume = parts[1].replace("</s>", "").strip() if len(parts) > 1 else ""
+    
+    return title, resume
+
+title, resume = generate_summary_with_special_tokens('Пациенты с сердечными заболеваниями зачастую имеют низкий уровень мелатонина и нарушение цикла сна-бодрствования. До сих пор механизмы, лежащие в основе этого явления, оставались неясными. В статье, опубликованной в журнале Science, команда Мюнхенского технического университета (TUM) показывает, каким именно образом сердечные заболевания влияют на выработку гормона сна в шишковидной железе. А в качестве связующего звена между двумя органами оказывается ганглий в области шеи.')
+print(title)  # Ученые показал, каким именно образом сердечные заболевания влияют на выработку гормона сна в шишковидной железе
+print(resume)  # Ученые опубликовали статью, опубликованную в журнале Science, команда Мюнхенского технического университета (TUM) показывает, каким образом кардиальные заболевания влияет на выработку гормона сна в шишковидной железе.
+```