IlyaGusev commited on
Commit
d6c98e3
1 Parent(s): 094619b

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +26 -16
README.md CHANGED
@@ -11,7 +11,7 @@ license:
11
  - apache-2.0
12
  inference:
13
  parameters:
14
- repetition_penalty: 2.9
15
  widget:
16
  - text: "Высота башни составляет 324 метра (1063 фута), примерно такая же высота, как у 81-этажного здания, и самое высокое сооружение в Париже. Его основание квадратно, размером 125 метров (410 футов) с любой стороны. Во время строительства Эйфелева башня превзошла монумент Вашингтона, став самым высоким искусственным сооружением в мире, и этот титул она удерживала в течение 41 года до завершения строительство здания Крайслер в Нью-Йорке в 1930 году. Это первое сооружение которое достигло высоты 300 метров. Из-за добавления вещательной антенны на вершине башни в 1957 году она сейчас выше здания Крайслер на 5,2 метра (17 футов). За исключением передатчиков, Эйфелева башня является второй самой высокой отдельно стоящей структурой во Франции после виадука Мийо."
17
  example_title: "Википедия"
@@ -54,7 +54,7 @@ input_ids = tokenizer(
54
 
55
  output_ids = model.generate(
56
  input_ids=input_ids,
57
- repetition_penalty=3.0
58
  )[0]
59
 
60
  summary = tokenizer.decode(output_ids, skip_special_tokens=True)
@@ -72,20 +72,30 @@ print(summary)
72
 
73
  ## Eval results
74
 
75
- Gazeta v1 train -> Gazeta v1 test
76
-
77
- | Model | R-1-f | R-2-f | R-L-f | chrF | METEOR | BLEU |
78
- |:--------------------------|:------|:------|:------|:-------|:-------|:-----|
79
- | [mbart_ru_sum_gazeta](https://huggingface.co/IlyaGusev/mbart_ru_sum_gazeta) | 32.1 | 14.3 | **27.9** | **39.7** | **25.7** | **12.4** |
80
- | [rut5_base_sum_gazeta](https://huggingface.co/IlyaGusev/rut5_base_sum_gazeta) | **32.3** | **14.5** | 27.9 | 39.6 | 25.1 | 11.5 |
81
-
82
- Gazeta v1 train -> Gazeta v2 test
83
-
84
- | Model | R-1-f | R-2-f | R-L-f | chrF | METEOR | BLEU |
85
- |:--------------------------|:------|:------|:------|:-------|:-------|:-----|
86
- | [mbart_ru_sum_gazeta](https://huggingface.co/IlyaGusev/mbart_ru_sum_gazeta) | **28.8** | **11.1** | **24.5** | **37.4** | **22.7** | **9.5** |
87
- | [rut5_base_sum_gazeta](https://huggingface.co/IlyaGusev/rut5_base_sum_gazeta) | 28.5 | 11.0 | 24.2 | 36.8 | 21.2 | 8.6 |
88
-
 
 
 
 
 
 
 
 
 
 
89
 
90
  Predicting all summaries:
91
  ```python
11
  - apache-2.0
12
  inference:
13
  parameters:
14
+ no_repeat_ngram_size: 4
15
  widget:
16
  - text: "Высота башни составляет 324 метра (1063 фута), примерно такая же высота, как у 81-этажного здания, и самое высокое сооружение в Париже. Его основание квадратно, размером 125 метров (410 футов) с любой стороны. Во время строительства Эйфелева башня превзошла монумент Вашингтона, став самым высоким искусственным сооружением в мире, и этот титул она удерживала в течение 41 года до завершения строительство здания Крайслер в Нью-Йорке в 1930 году. Это первое сооружение которое достигло высоты 300 метров. Из-за добавления вещательной антенны на вершине башни в 1957 году она сейчас выше здания Крайслер на 5,2 метра (17 футов). За исключением передатчиков, Эйфелева башня является второй самой высокой отдельно стоящей структурой во Франции после виадука Мийо."
17
  example_title: "Википедия"
54
 
55
  output_ids = model.generate(
56
  input_ids=input_ids,
57
+ no_repeat_ngram_size=4
58
  )[0]
59
 
60
  summary = tokenizer.decode(output_ids, skip_special_tokens=True)
72
 
73
  ## Eval results
74
 
75
+ * Train dataset: **Gazeta v1 train**
76
+ * Test dataset: **Gazeta v1 test**
77
+ * Source max_length: **600**
78
+ * Target max_length: **200**
79
+ * no_repeat_ngram_size: **4**
80
+ * num_beams: **5**
81
+
82
+ | Model | R-1-f | R-2-f | R-L-f | chrF | METEOR | BLEU | Avg char length |
83
+ |:--------------------------|:------|:------|:------|:-------|:-------|:-----|:-----|
84
+ | [mbart_ru_sum_gazeta](https://huggingface.co/IlyaGusev/mbart_ru_sum_gazeta) | **32.4** | 14.3 | 28.0 | 39.7 | **26.4** | 12.1 | 371 |
85
+ | [rut5_base_sum_gazeta](https://huggingface.co/IlyaGusev/rut5_base_sum_gazeta) | 32.2 | **14.4** | **28.1** | **39.8** | 25.7 | **12.3** | 330 |
86
+ |
87
+
88
+ * Train dataset: **Gazeta v1 train**
89
+ * Test dataset: **Gazeta v2 test**
90
+ * Source max_length: **600**
91
+ * Target max_length: **200**
92
+ * no_repeat_ngram_size: **4**
93
+ * num_beams: **5**
94
+
95
+ | Model | R-1-f | R-2-f | R-L-f | chrF | METEOR | BLEU | Avg char length |
96
+ |:--------------------------|:------|:------|:------|:-------|:-------|:-----|:-----|
97
+ | [mbart_ru_sum_gazeta](https://huggingface.co/IlyaGusev/mbart_ru_sum_gazeta) | **28.7** | **11.1** | 24.4 | **37.3** | **22.7** | **9.4** | 373 |
98
+ | [rut5_base_sum_gazeta](https://huggingface.co/IlyaGusev/rut5_base_sum_gazeta) | 28.6 | **11.1** | **24.5** | 37.2 | 22.0 | **9.4** | 331 |
99
 
100
  Predicting all summaries:
101
  ```python