File size: 3,953 Bytes
40172d0
0251a92
 
6aa0b04
 
0251a92
6aa0b04
 
 
0251a92
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
40172d0
6aa0b04
 
 
 
 
 
52c3a9a
6aa0b04
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5ca8f92
 
 
 
 
 
 
 
 
 
6aa0b04
 
 
 
dcdfbb6
6aa0b04
9a8c4e0
 
 
 
 
 
6aa0b04
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
---
language:
- hu
tags:
- summarization
license: apache-2.0
metrics:
- rouge
widget:
- text: >-
    summarize: A Tisza-parti város állatkertjében régóta tartanak szurikátákat (
    Suricata suricatta ) , de tavaly tavaszig nem sikerült szaporítani őket ,
    annak ellenére , hogy tágas ház és kifutó épült számukra - közölte Veprik
    Róbert igazgató . 2010-ben alakult ki az új - három Amszterdamból származó
    nőstényből és egy budapesti fiatal hímből álló - csapat , amely szaporodni
    kezdett . 2011-ben három , idén pedig egy utóddal örvendeztették meg a
    gondozókat és az állatbarátokat . A szurikáták utódai - tizenegy hetes
    vemhesség után - október és március között vakon és szőrtelenül jönnek a
    világra . A kicsinyek háromhetesen bújnak elő az üregből , és nevelésükben
    mindkét szülő részt vesz . A szurikátacsapatokban a család tagjai nagyon
    szoros kapcsolatban állnak egymással , viszont nagyon harciasan fellépnek az
    idegenekkel szemben , akár meg is ölhetik azt az állatot , amelyet
    betolakodónak tekintenek . Bár a Dél-Afrikában , a Kalahári sivatagban
    őshonos cibetmacskaféle ragadozókat a szegedi állatkertben természetes
    élőhelyükhöz képest kevesebb veszély fenyegeti , a vadasparki erdőben
    ragadozó madarak is élnek , amelyek akár zsákmányként is tekinthetnének a
    szurikátákra . A szegedi csapatnál azonban szigorú őrség van , mindig lesi
    valaki két lábra állva a veszélyforrásokat . Az őrszemek figyelmét még a
    sárkányrepülők is felkeltik , és felbukkanásakor valamennyi egyed biztos
    helyre menekül . A szurikáták a Kalahári sivatag bozótos , sziklás
    területein csapatokban élnek . A 700 gramm körüli testtömegű ragadozók
    rovarokkal , lárvákkal , skorpiókkal táplálkoznak , de néha elfogyasztják a
    kisebb gerinceseket , tojásokat és növényi gumókat is . A nappal aktív
    állatok földalatti üregrendszert ásnak , amelynek több bejárata is van . Ha
    a szurikáták idegen csapattal vagy ragadozóval kerülnek szembe , azonnal
    elkezdenek ásni , nagy porfelhőt kavarva . Az is gyakorta előfordul , hogy
    szorosan egymáshoz bújnak , felborzolják szőrüket , megnyújtják testüket ,
    hogy minél nagyobbnak látszódjanak . Az előadásuk csúcspontján pedig az
    egész csapat a levegőbe ugrik , közben pedig morog . A hangadás egyébként is
    fontos a szurikáták kapcsolatában , az egyedek legalább tízféle jelzést
    használnak a kolónián belül .
---

# Hungarian Abstractive Summarization with mT5-base model

For further details, see or [our demo site](https://juniper.nytud.hu/demo/nlp).

- Finetuned on mT5-base model
- Prefix: "summarize: "
- Finetuned on HI corpus (hvg.hu + index.hu)
  - Segments: 559162
  	
## Limitations

- tokenized input text (tokenizer: [HuSpaCy](https://huggingface.co/huspacy))
- max_source_length = 1024
- max_target_length = 256

## Results

| Model | HI | 
| ------------- | ------------- |
| mBART | 35.17/16.46/25.61 |
| mT5 | 33.30/15.97/24.65 |
| PEGASUS | 30.36/13.11/21.57 |

## Usage with pipeline

```python
from transformers import pipeline

summarization = pipeline(task="summarization", model="NYTK/summarization-hi-mt5-base-hungarian")

print(summarization(f"summarize: {input_text}")[0]["summary_text"])
```

## Citation
If you use this model, please cite the following paper:

```
@inproceedings {yang-multi-sum,
    title = {{Többnyelvű modellek és PEGASUS finomhangolása magyar nyelvű absztraktív összefoglalás feladatára}},
    booktitle = {XIX. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2023)},
    year = {2023},
    publisher = {Szegedi Tudományegyetem, Informatikai Intézet},
    address = {Szeged, Magyarország},
    author = {Yang, Zijian Győző},
    pages = {381--393}
}
```