Edit model card

Model Summary

The model was fine-tuned on the andriibul/ukr-news-yt-titles dataset to generate stylized titles in Ukrainian.

Training

Param Value
batch size 8
warmup 0.01
lr 3e-4
epochs 4

Evaluation

Metric Value
Rouge1 0.29
Rouge2 0.12
Rougel 0.24
Bertscore Precision 0.58
Bertscore Recall 0.59
Bertscore F1 0.58

Usage

from transformers import MT5ForConditionalGeneration, MT5Tokenizer
import torch

model_name = "andriibul/mT5-ukr-news-yt-title-generator"
tokenizer = MT5Tokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)

def generate(text, device, **kwargs):
    inputs = tokenizer(text, return_tensors="pt").to(device)
    with torch.no_grad():
        hypotheses = model.generate(**inputs, **kwargs)
    return tokenizer.batch_decode(hypotheses, skip_special_tokens=True)

generate(
"""
Вночі дрони СБУ атакували військовий аеродром «Борісоглєбськ» у Воронезькій області РФ, де були склади з КАБами, стоянки літаків Су-34 й Су-35, а також місця зберігання авіаційного пального.
""",
    do_sample=True,
    top_p=0.7,
    num_return_sequences=5,
    repetition_penalty=2.0,
    num_beams=10,
    device='cpu'
)

#> ['🔥ВИБУХИ на аеродромі Борісоглєбськ у Воронежі',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ! Дрони СБУ атакували склади з КАБами',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ у РФ',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ у Росії',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ! Дрони СБУ атакували склади з ПАЛИВОМ']

Or as a pipeline:

from transformers import pipeline

summarizer = pipeline("summarization", model="andriibul/mT5-ukr-news-yt-title-generator")
summary = summarizer(
"""
Вночі дрони СБУ атакували військовий аеродром «Борісоглєбськ» у Воронезькій області РФ, де були склади з КАБами, стоянки літаків Су-34 й Су-35, а також місця зберігання авіаційного пального.
"""
, max_length=92
)
print(summary)
Downloads last month
2
Safetensors
Model size
582M params
Tensor type
F32
·
Inference Examples
Unable to determine this model's library. Check the docs .

Model tree for andriibul/mT5-ukr-news-yt-title-generator

Finetuned
(1)
this model

Dataset used to train andriibul/mT5-ukr-news-yt-title-generator