File size: 10,644 Bytes
0e9ce0b
f911e76
a94cd85
0e9ce0b
f911e76
add7148
 
0e9ce0b
 
 
d427f37
 
 
 
2903c46
f911e76
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
0e9ce0b
 
 
 
 
 
 
a94cd85
add7148
 
 
 
 
 
 
0e9ce0b
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
add7148
0e9ce0b
 
 
add7148
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
0e9ce0b
 
 
 
 
7531d14
0e9ce0b
f911e76
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
---
license: cc-by-4.0
base_model: pengold/t5-vietnamese-summarization
tags:
- summarization
metrics:
- rouge
model-index:
- name: t5-vietnamese-summarization
  results: []
inference:
  parameters:
    min_length: 5
    max_length: 150
widget:
- text: >-
    summarize: Thảo luận phiên chuyên đề 2 về năng suất lao động tại Diễn đàn
    Kinh tế - Xã hội 2023 ngày 19/9, Chuyên gia Kinh tế quốc tế Jonathan Pincus
    (Tổ chức phát triển Liên hợp quốc tại Việt Nam) nói việc tăng năng suất lao
    động cần nhìn nhận trong quá trình dài hơi thay vì trong giai đoạn ngắn. Rất
    khó để một quốc gia có thể tăng trưởng năng suất nhanh trong một giai đoạn
    dài, đó chính là bẫy năng suất trung bình, ông Pincus đúc rút, gọi đây là
    mối đe dọa lớn.
  example_title: Example 1
- text: >-
    summarize: Đây là nỗ lực của chính phủ nhằm giảm đi cơn sốt trên
    thị trường chứng khoán. Quyết định này có tác động ngay lập tức.
    Chỉ số chính của thị trường chứng khoán Thượng Hải khi đóng cửa
    giảm 281.8 điểm, ở mức 4053.1. Một số phân tích gia nói việc cổ
    phiếu sụt giá cũng chỉ mang tính tạm thời mà thôi. Ngân hàng Thế
    giới giờ đây dự đoán nền kinh tế Trung Quốc sẽ tăng 10.4% trong năm
    nay. Lúc trước, Ngân hàng Thế giới dự đoán kinh tế Trung Quốc sẽ
    tăng 9.6% trong năm 2007. Với việc Bắc Kinh đưa ra hành động nhằm
    giảm nhiệt thị trường chứng khoán vào hôm thứ Tư, thuế đối với
    cổ phiếu giao dịch giờ đây tăng từ 0.1% lên 0.3%. Tính đến phiên
    đóng cửa vào hôm thứ Ba, chỉ số cổ phiếu Thượng Hải đã tăng 62%
    trong năm nay, và có giá trị tăng gấp bốn lần kể từ đầu năm 2006.
    Ông Thomas Gruener từ Landesbank Berlin nói: “Hành động này có thể
    tạo ra việc điều chỉnh giá nhưng nhìn chung chúng tôi không cho là
    xu hướng sẽ thay đổi”. Tuy nhiên, việc cổ phiếu Thượng Hải sụt giá
    có thể sẽ tác động tới tâm lý của các thị trường chứng khoán
    châu Âu. Thế nên các chỉ số chứng khoán tại châu Âu khi mở cửa hôm
    thứ Tư đều hạ.
  example_title: Example 2
language:
- vi
pipeline_tag: summarization
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# t5-vietnamese-summarization

This model is a fine-tuned version of [pengold/t5-vietnamese-summarization](https://huggingface.co/pengold/t5-vietnamese-summarization) on an unknown dataset.
It achieves the following results on the evaluation set:
- Loss: 4.6288
- Rouge1: 0.4728
- Rouge2: 0.1669
- Rougel: 0.3049
- Rougelsum: 0.3049
- Gen Len: 18.7458

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 2e-05
- train_batch_size: 16
- eval_batch_size: 16
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 70

### Training results

| Training Loss | Epoch | Step   | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len |
|:-------------:|:-----:|:------:|:---------------:|:------:|:------:|:------:|:---------:|:-------:|
| 5.2487        | 1.0   | 2007   | 5.0028          | 0.4671 | 0.1595 | 0.2994 | 0.2994    | 18.7618 |
| 5.217         | 2.0   | 4014   | 4.9802          | 0.4639 | 0.1569 | 0.2984 | 0.2983    | 18.7747 |
| 5.2191        | 3.0   | 6021   | 4.9685          | 0.4644 | 0.1594 | 0.2989 | 0.2989    | 18.7613 |
| 5.2254        | 4.0   | 8028   | 4.9477          | 0.4648 | 0.1586 | 0.2988 | 0.2987    | 18.7458 |
| 5.1735        | 5.0   | 10035  | 4.9366          | 0.4654 | 0.1593 | 0.2988 | 0.2987    | 18.761  |
| 5.1735        | 6.0   | 12042  | 4.9214          | 0.4676 | 0.1611 | 0.3004 | 0.3004    | 18.78   |
| 5.1653        | 7.0   | 14049  | 4.9095          | 0.4681 | 0.1616 | 0.3007 | 0.3007    | 18.7523 |
| 5.1154        | 8.0   | 16056  | 4.8971          | 0.4664 | 0.1598 | 0.3002 | 0.3001    | 18.7655 |
| 5.1232        | 9.0   | 18063  | 4.8882          | 0.4683 | 0.1612 | 0.3008 | 0.3008    | 18.761  |
| 5.0995        | 10.0  | 20070  | 4.8758          | 0.4709 | 0.1618 | 0.3021 | 0.302     | 18.7518 |
| 5.1012        | 11.0  | 22077  | 4.8689          | 0.4685 | 0.1616 | 0.3011 | 0.3009    | 18.7665 |
| 5.0916        | 12.0  | 24084  | 4.8486          | 0.4695 | 0.1623 | 0.3024 | 0.3023    | 18.7655 |
| 5.0559        | 13.0  | 26091  | 4.8409          | 0.4699 | 0.1631 | 0.3024 | 0.3023    | 18.7849 |
| 5.0633        | 14.0  | 28098  | 4.8326          | 0.4705 | 0.1613 | 0.302  | 0.302     | 18.7583 |
| 5.0335        | 15.0  | 30105  | 4.8243          | 0.4696 | 0.1612 | 0.3023 | 0.3022    | 18.7638 |
| 5.0271        | 16.0  | 32112  | 4.8046          | 0.4691 | 0.1618 | 0.3022 | 0.3022    | 18.7518 |
| 5.0045        | 17.0  | 34119  | 4.8060          | 0.4708 | 0.1629 | 0.3029 | 0.3028    | 18.7568 |
| 5.0072        | 18.0  | 36126  | 4.7945          | 0.4702 | 0.1633 | 0.3024 | 0.3023    | 18.776  |
| 4.9954        | 19.0  | 38133  | 4.7894          | 0.47   | 0.1639 | 0.3022 | 0.3021    | 18.7785 |
| 4.9994        | 20.0  | 40140  | 4.7773          | 0.4692 | 0.1625 | 0.3028 | 0.3027    | 18.7623 |
| 4.953         | 21.0  | 42147  | 4.7641          | 0.4682 | 0.162  | 0.3015 | 0.3014    | 18.757  |
| 4.9526        | 22.0  | 44154  | 4.7600          | 0.4703 | 0.1626 | 0.3023 | 0.3023    | 18.7625 |
| 4.9571        | 23.0  | 46161  | 4.7592          | 0.4698 | 0.1627 | 0.3025 | 0.3025    | 18.781  |
| 4.9324        | 24.0  | 48168  | 4.7511          | 0.4697 | 0.1631 | 0.3022 | 0.3021    | 18.769  |
| 4.9323        | 25.0  | 50175  | 4.7433          | 0.4723 | 0.1649 | 0.304  | 0.3039    | 18.7757 |
| 4.9381        | 26.0  | 52182  | 4.7378          | 0.4703 | 0.1629 | 0.3026 | 0.3026    | 18.7782 |
| 4.9288        | 27.0  | 54189  | 4.7454          | 0.4709 | 0.1627 | 0.3026 | 0.3026    | 18.7777 |
| 4.9131        | 28.0  | 56196  | 4.7222          | 0.471  | 0.1652 | 0.3037 | 0.3037    | 18.782  |
| 4.9005        | 29.0  | 58203  | 4.7241          | 0.4719 | 0.1638 | 0.3039 | 0.3038    | 18.778  |
| 4.9051        | 30.0  | 60210  | 4.7225          | 0.4715 | 0.1647 | 0.3037 | 0.3036    | 18.7668 |
| 4.8816        | 31.0  | 62217  | 4.7181          | 0.4701 | 0.1631 | 0.3029 | 0.3029    | 18.7416 |
| 4.8687        | 32.0  | 64224  | 4.7061          | 0.4705 | 0.1643 | 0.3032 | 0.3031    | 18.7625 |
| 4.8935        | 33.0  | 66231  | 4.7063          | 0.4697 | 0.1632 | 0.3028 | 0.3028    | 18.7458 |
| 4.88          | 34.0  | 68238  | 4.6984          | 0.471  | 0.164  | 0.3039 | 0.3039    | 18.7663 |
| 4.8473        | 35.0  | 70245  | 4.6934          | 0.4699 | 0.1636 | 0.3034 | 0.3033    | 18.7531 |
| 4.8613        | 36.0  | 72252  | 4.6863          | 0.4705 | 0.1631 | 0.303  | 0.303     | 18.7797 |
| 4.8491        | 37.0  | 74259  | 4.6847          | 0.4703 | 0.1638 | 0.3037 | 0.3037    | 18.78   |
| 4.8239        | 38.0  | 76266  | 4.6804          | 0.4707 | 0.1632 | 0.3032 | 0.3032    | 18.7802 |
| 4.8767        | 39.0  | 78273  | 4.6788          | 0.4703 | 0.1637 | 0.3027 | 0.3026    | 18.7446 |
| 4.8402        | 40.0  | 80280  | 4.6700          | 0.4699 | 0.1633 | 0.3028 | 0.3028    | 18.7516 |
| 4.8261        | 41.0  | 82287  | 4.6660          | 0.4699 | 0.1633 | 0.3029 | 0.3028    | 18.7369 |
| 4.8193        | 42.0  | 84294  | 4.6693          | 0.4711 | 0.1654 | 0.3039 | 0.3038    | 18.7421 |
| 4.8161        | 43.0  | 86301  | 4.6636          | 0.4707 | 0.1642 | 0.303  | 0.303     | 18.7595 |
| 4.832         | 44.0  | 88308  | 4.6619          | 0.4708 | 0.1646 | 0.3036 | 0.3035    | 18.7423 |
| 4.8304        | 45.0  | 90315  | 4.6575          | 0.4711 | 0.1651 | 0.3038 | 0.3037    | 18.7354 |
| 4.7958        | 46.0  | 92322  | 4.6543          | 0.4711 | 0.165  | 0.3032 | 0.3032    | 18.7189 |
| 4.804         | 47.0  | 94329  | 4.6541          | 0.4711 | 0.1656 | 0.3037 | 0.3036    | 18.7396 |
| 4.7968        | 48.0  | 96336  | 4.6495          | 0.4709 | 0.165  | 0.3034 | 0.3034    | 18.7411 |
| 4.7912        | 49.0  | 98343  | 4.6471          | 0.4718 | 0.1655 | 0.3041 | 0.3042    | 18.7361 |
| 4.7721        | 50.0  | 100350 | 4.6469          | 0.4723 | 0.1667 | 0.3047 | 0.3047    | 18.7309 |
| 4.7828        | 51.0  | 102357 | 4.6476          | 0.4712 | 0.1656 | 0.3044 | 0.3045    | 18.7446 |
| 4.7934        | 52.0  | 104364 | 4.6453          | 0.4707 | 0.1645 | 0.3035 | 0.3035    | 18.7329 |
| 4.7724        | 53.0  | 106371 | 4.6425          | 0.4715 | 0.1657 | 0.304  | 0.304     | 18.7403 |
| 4.7804        | 54.0  | 108378 | 4.6362          | 0.4711 | 0.1658 | 0.3041 | 0.3041    | 18.7488 |
| 4.792         | 55.0  | 110385 | 4.6363          | 0.4706 | 0.1653 | 0.3038 | 0.3038    | 18.7281 |
| 4.7528        | 56.0  | 112392 | 4.6357          | 0.4724 | 0.1667 | 0.3044 | 0.3044    | 18.7463 |
| 4.7849        | 57.0  | 114399 | 4.6346          | 0.472  | 0.1661 | 0.3041 | 0.304     | 18.7431 |
| 4.7618        | 58.0  | 116406 | 4.6332          | 0.472  | 0.167  | 0.3046 | 0.3046    | 18.7336 |
| 4.7841        | 59.0  | 118413 | 4.6287          | 0.4716 | 0.1664 | 0.3043 | 0.3043    | 18.7369 |
| 4.7764        | 60.0  | 120420 | 4.6316          | 0.473  | 0.1666 | 0.3048 | 0.3047    | 18.7548 |
| 4.7504        | 61.0  | 122427 | 4.6276          | 0.4721 | 0.1671 | 0.3043 | 0.3044    | 18.7371 |
| 4.7629        | 62.0  | 124434 | 4.6250          | 0.4726 | 0.167  | 0.3046 | 0.3046    | 18.76   |
| 4.7764        | 63.0  | 126441 | 4.6264          | 0.4725 | 0.1666 | 0.3044 | 0.3044    | 18.7446 |
| 4.7524        | 64.0  | 128448 | 4.6275          | 0.4719 | 0.166  | 0.3041 | 0.3041    | 18.7428 |
| 4.7641        | 65.0  | 130455 | 4.6288          | 0.4728 | 0.1669 | 0.3049 | 0.3049    | 18.7458 |


### Framework versions

- Transformers 4.33.2
- Pytorch 2.0.1+cu117
- Datasets 2.14.5
- Tokenizers 0.13.3