README.md

---
license: apache-2.0
language:
- el
metrics:
- bertscore
- rouge
pipeline_tag: summarization

widget:
- text: 'Η Ανδρίτσα είναι οικισμός στο νοτιοδυτικό τμήμα του νομού Αργολίδας, δίπλα στα όρια με τον νομό Αρκαδίας. Βρίσκεται στις νοτιοανατολικές υπώρειες του Παρθενίου όρους και στις όχθες του μικρού ποταμού Ξαβριού, σε μέσο σταθμικό υψόμετρο 300. Απέχει 28 χλμ. περίπου ΝΔ. του Ναυπλίου. Η τοπική κοινότητα Ανδρίτσας είναι χαρακτηρισμένη ως αγροτικός ημιορεινός οικισμός, με έκταση 19,304 χμ² (2011). Ο πληθυσμός της Ανδρίτσας διπλασιάστηκε μεταξύ του 1879 και του 1889 αλλά έπειτα σταθεροποιήθηκε μέχρι και το 1961. Έκτοτε έχει συρρικνωθεί σημαντικά. Ο οικισμός αναγνωρίστηκε το 1879 και προσαρτήθηκε στον δήμο Υσιών του νομού Αργολίδος & Κορινθίας. Το 1899 εντάχθηκε στον νομό Αργολίδας και, το 1909, πάλι στον νομό Αργολίδος & Κορινθίας. Το 1932 ορίστηκε έδρα της κοινότητας Ανδρίτσας και το 1949 υπήχθη οριστικά στον νομό Αργολίδας. Με το ΦΕΚ 244Α - 04/12/1997 αποσπάστηκε από την κοινότητα Ανδρίτσας και προσαρτήθηκε στον δήμο Λέρνας. Με το ΦΕΚ 87Α - 07/06/2010 αποσπάστηκε από τον δήμο Λέρνας και προσαρτήθηκε στον δήμο Άργους-Μυκηνών. Η Ανδρίτσα είχε παλαιότερα σιδηροδρομικό σταθμό στη γραμμή Κορίνθου-Καλαμάτας. Στις υπώρειες του όρους Ζάβιτσα βρίσκεται το «Σπήλαιο Ανδρίτσας», η εξερεύνηση του οποίου ξεκίνησε στις αρχές του 2004 από την Εφορεία Παλαιοανθρωπολογίας-Σπηλαιολογίας Νότιας Ελλάδας.'
  example_title: 'Text'

model-index:
- name: IMISLab/GreekT5-umt5-base-greekwikipedia
  results:
  - task:
      type: summarization
      name: Summarization
    dataset:
      name: GreekWikipedia
      type: greekwikipedia
      config: default
      split: test
    metrics:
    - name: ROUGE-1
      type: rouge
      value: 30.04 
      verified: true
    - name: ROUGE-2
      type: rouge
      value: 13.10
      verified: true
    - name: ROUGE-L
      type: rouge
      value: 24.40
      verified: true
    - name: BERTScore
      type: bertscore
      value: 73.46
      verified: true
---

# GreekT5 (umt5-base-greekwikipedia)

A Greek encyclopedic article summarization model trained and evaluated on [GreekWikipedia](https://huggingface.co/datasets/IMISLab/GreekWikipedia/).  
This model was trained as part of our research paper:
[Giarelis, N., Mastrokostas, C., & Karacapilidis, N. (2024) Greek Wikipedia: A Study on Abstractive Summarization]()
For more information see the evaluation section below.

<img src="Greek Wiki icon.svg" width="200"/>

## Training dataset

The training dataset of `GreekT5-umt5-base-greekwikipedia` is [GreekWikipedia](), which is the first encyclopedic summarization dataset for the Greek Language.
This dataset contains 93,433 articles collected from the Greek part of [Wikipedia](https://el.wikipedia.org/).  

## Training configuration

We trained `google/umt5-base` [580 million parameters (~2.37 GB)] on the GreekWikipedia train split using the following parameters:
* GPU batch size = 1
* Total training epochs = 10
* AdamW optimizer (e = 1e−8, β1 = 0.9 and β2 = 0.0999)
* Learning rate = 3e−4
* No warmup steps
* 16-bit floating precision
* Tokenization  
  * maximum input token length = 1024
  * maximum output token length = 220
  * padding = ‘max_length’
  * truncation = True

**Note:** T5-based models use a multi-task architecture, the prefix *‘summarize: ’* was prepended in each training sample. 

## Evaluation
**Approach**|**ROUGE-1**|**ROUGE-2**|**ROUGE-L**|**BERTScore**
------------|-----------|-----------|-----------|-------------
TextRank|18.12|3.20|10.41|65.35
LEAD|18.51|3.18|11.48|65.77
**GreekWiki (umt5-base)**|**30.04**|**13.10**|**24.40**|**73.46**

### Example code
```python
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, pipeline

model_name = 'IMISLab/GreekT5-umt5-base-greekwikipedia'
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name) 

summarizer = pipeline(
    'summarization',
    device = 'cpu',
    model = model,
    tokenizer = tokenizer,
    max_new_tokens = 220,
    truncation = True
)
    
text = 'Η Ανδρίτσα είναι οικισμός στο νοτιοδυτικό τμήμα του νομού Αργολίδας, δίπλα στα όρια με τον νομό Αρκαδίας. Βρίσκεται στις νοτιοανατολικές υπώρειες του Παρθενίου όρους και στις όχθες του μικρού ποταμού Ξαβριού, σε μέσο σταθμικό υψόμετρο 300. Απέχει 28 χλμ. περίπου ΝΔ. του Ναυπλίου. Η τοπική κοινότητα Ανδρίτσας είναι χαρακτηρισμένη ως αγροτικός ημιορεινός οικισμός, με έκταση 19,304 χμ² (2011). Ο πληθυσμός της Ανδρίτσας διπλασιάστηκε μεταξύ του 1879 και του 1889 αλλά έπειτα σταθεροποιήθηκε μέχρι και το 1961. Έκτοτε έχει συρρικνωθεί σημαντικά. Ο οικισμός αναγνωρίστηκε το 1879 και προσαρτήθηκε στον δήμο Υσιών του νομού Αργολίδος & Κορινθίας. Το 1899 εντάχθηκε στον νομό Αργολίδας και, το 1909, πάλι στον νομό Αργολίδος & Κορινθίας. Το 1932 ορίστηκε έδρα της κοινότητας Ανδρίτσας και το 1949 υπήχθη οριστικά στον νομό Αργολίδας. Με το ΦΕΚ 244Α - 04/12/1997 αποσπάστηκε από την κοινότητα Ανδρίτσας και προσαρτήθηκε στον δήμο Λέρνας. Με το ΦΕΚ 87Α - 07/06/2010 αποσπάστηκε από τον δήμο Λέρνας και προσαρτήθηκε στον δήμο Άργους-Μυκηνών. Η Ανδρίτσα είχε παλαιότερα σιδηροδρομικό σταθμό στη γραμμή Κορίνθου-Καλαμάτας. Στις υπώρειες του όρους Ζάβιτσα βρίσκεται το «Σπήλαιο Ανδρίτσας», η εξερεύνηση του οποίου ξεκίνησε στις αρχές του 2004 από την Εφορεία Παλαιοανθρωπολογίας-Σπηλαιολογίας Νότιας Ελλάδας.'
output = summarizer('summarize: ' + text)
print(output[0]['summary_text'])
```
## Contact

If you have any questions/feedback about the model please e-mail one of the following authors:
```
giarelis@ceid.upatras.gr
cmastrokostas@ac.upatras.gr
karacap@upatras.gr
```
## Citation

The model has been officially released with the article: [Greek Wikipedia: A Study on Abstractive Summarization]().
If you use the model, please cite the following:
```
TBA
```