IMISLab/GreekWiki-umt5-base

GreekWiki (umt5-base)

A Greek encyclopedic article summarization model trained and evaluated on GreekWikipedia. This model was trained as part of our upcoming research paper:
Giarelis, N., Mastrokostas, C., & Karacapilidis, N. (2024) Greek Wikipedia: A Study on Abstractive Summarization.
For more information see the evaluation section below.

Training dataset

The training dataset of GreekWiki (umt5-base) is GreekWikipedia, which is the first encyclopedic summarization dataset for the Greek Language.
This dataset contains 93,432 articles collected from the Greek part of Wikipedia.

Training configuration

We trained google/umt5-base [580 million parameters (~2.37 GB)] on the GreekWikipedia train split using the following parameters:

• GPU batch size = 1
• Total training epochs = 10
• AdamW optimizer (e = 1e−8, β1 = 0.9 and β2 = 0.0999)
• Learning rate = 3e−4
• No warmup steps
• 16-bit floating precision
• Tokenization
  • maximum input token length = 1024
  • maximum output token length = 220
  • padding = ‘max_length’
  • truncation = True

Note: T5-based models use a multi-task architecture, the prefix ‘summarize: ’ was prepended in each training sample.

Evaluation

Approach	ROUGE-1	ROUGE-2	ROUGE-L	BERTScore
TextRank	18.12	3.20	10.41	65.35
LEAD	18.51	3.18	11.48	65.77
GreekWiki (umt5-base)	30.04	13.10	24.40	73.46

Example code

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, pipeline

model_name = 'IMISLab/GreekWiki-umt5-base'
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name) 

summarizer = pipeline(
    'summarization',
    device = 'cpu',
    model = model,
    tokenizer = tokenizer,
    max_new_tokens = 220,
    truncation = True
)
    
text = 'Η Ανδρίτσα είναι οικισμός στο νοτιοδυτικό τμήμα του νομού Αργολίδας, δίπλα στα όρια με τον νομό Αρκαδίας. Βρίσκεται στις νοτιοανατολικές υπώρειες του Παρθενίου όρους και στις όχθες του μικρού ποταμού Ξαβριού, σε μέσο σταθμικό υψόμετρο 300. Απέχει 28 χλμ. περίπου ΝΔ. του Ναυπλίου. Η τοπική κοινότητα Ανδρίτσας είναι χαρακτηρισμένη ως αγροτικός ημιορεινός οικισμός, με έκταση 19,304 χμ² (2011). Ο πληθυσμός της Ανδρίτσας διπλασιάστηκε μεταξύ του 1879 και του 1889 αλλά έπειτα σταθεροποιήθηκε μέχρι και το 1961. Έκτοτε έχει συρρικνωθεί σημαντικά. Ο οικισμός αναγνωρίστηκε το 1879 και προσαρτήθηκε στον δήμο Υσιών του νομού Αργολίδος & Κορινθίας. Το 1899 εντάχθηκε στον νομό Αργολίδας και, το 1909, πάλι στον νομό Αργολίδος & Κορινθίας. Το 1932 ορίστηκε έδρα της κοινότητας Ανδρίτσας και το 1949 υπήχθη οριστικά στον νομό Αργολίδας. Με το ΦΕΚ 244Α - 04/12/1997 αποσπάστηκε από την κοινότητα Ανδρίτσας και προσαρτήθηκε στον δήμο Λέρνας. Με το ΦΕΚ 87Α - 07/06/2010 αποσπάστηκε από τον δήμο Λέρνας και προσαρτήθηκε στον δήμο Άργους-Μυκηνών. Η Ανδρίτσα είχε παλαιότερα σιδηροδρομικό σταθμό στη γραμμή Κορίνθου-Καλαμάτας. Στις υπώρειες του όρους Ζάβιτσα βρίσκεται το «Σπήλαιο Ανδρίτσας», η εξερεύνηση του οποίου ξεκίνησε στις αρχές του 2004 από την Εφορεία Παλαιοανθρωπολογίας-Σπηλαιολογίας Νότιας Ελλάδας.'
output = summarizer('summarize: ' + text)
print(output[0]['summary_text'])

Contact

If you have any questions/feedback about the model please e-mail one of the following authors:

giarelis@ceid.upatras.gr
cmastrokostas@ac.upatras.gr
karacap@upatras.gr

Citation

The model has been officially released with the article: Greek Wikipedia: A Study on Abstractive Summarization. If you use the model, please cite the following:

TBA