Model Summary
The model was fine-tuned on the andriibul/ukr-news-yt-titles dataset to generate stylized titles in Ukrainian.
Training
Param | Value |
---|---|
batch size | 8 |
warmup | 0.01 |
lr | 3e-4 |
epochs | 4 |
Evaluation
Metric | Value |
---|---|
Rouge1 | 0.29 |
Rouge2 | 0.12 |
Rougel | 0.24 |
Bertscore Precision | 0.58 |
Bertscore Recall | 0.59 |
Bertscore F1 | 0.58 |
Usage
from transformers import MT5ForConditionalGeneration, MT5Tokenizer
import torch
model_name = "andriibul/mT5-ukr-news-yt-title-generator"
tokenizer = MT5Tokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)
def generate(text, device, **kwargs):
inputs = tokenizer(text, return_tensors="pt").to(device)
with torch.no_grad():
hypotheses = model.generate(**inputs, **kwargs)
return tokenizer.batch_decode(hypotheses, skip_special_tokens=True)
generate(
"""
Вночі дрони СБУ атакували військовий аеродром «Борісоглєбськ» у Воронезькій області РФ, де були склади з КАБами, стоянки літаків Су-34 й Су-35, а також місця зберігання авіаційного пального.
""",
do_sample=True,
top_p=0.7,
num_return_sequences=5,
repetition_penalty=2.0,
num_beams=10,
device='cpu'
)
#> ['🔥ВИБУХИ на аеродромі Борісоглєбськ у Воронежі',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ! Дрони СБУ атакували склади з КАБами',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ у РФ',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ у Росії',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ! Дрони СБУ атакували склади з ПАЛИВОМ']
Or as a pipeline:
from transformers import pipeline
summarizer = pipeline("summarization", model="andriibul/mT5-ukr-news-yt-title-generator")
summary = summarizer(
"""
Вночі дрони СБУ атакували військовий аеродром «Борісоглєбськ» у Воронезькій області РФ, де були склади з КАБами, стоянки літаків Су-34 й Су-35, а також місця зберігання авіаційного пального.
"""
, max_length=92
)
print(summary)
- Downloads last month
- 2
Model tree for andriibul/mT5-ukr-news-yt-title-generator
Base model
yelyah/mT5-XLSUM-ua-news