Vietnamese pretrain model for Abstractive Text Summarization task

State-of-the-art lightweights pretrained Transformer-based encoder-decoder model for Vietnamese.

Model trained on dataset Wikilingua of vietnamese language with input length = 512, output length = 256

How to use

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("minhtoan/t5-small-wikilingua_vietnamese")  
model = AutoModelForSeq2SeqLM.from_pretrained("minhtoan/t5-small-wikilingua_vietnamese")
model.cuda()
src = 'Là Thủ tướng khi lạm phát gần 70%, ngân sách thâm hụt, thất nghiệp nhiều, nhưng với tư duy cởi mở, sẵn sàng "không làm được thì từ chức", ông Võ Văn Kiệt đã mang đến nhiều cải cách kinh tế cho Việt Nam. Trong trí nhớ của Chuyên gia kinh tế Phạm Chi Lan, cố Thủ tướng Võ Văn Kiệt là một lãnh đạo có tư duy kinh tế thị trường, chịu khó học hỏi, biết lắng nghe. "Những gì ông thấy tốt cho người dân thì sẽ tiếp thu rất nhanh", bà Lan nói với VnExpress. Còn PGS. TS Trần Minh Trưởng, Viện trưởng Viện Hồ Chí Minh và các lãnh tụ của Đảng (Học viện Chính trị - Hành chính quốc gia) nhận định về ông Võ Văn Kiệt trên Báo Nhân dân như "một trong những người đi đầu trong công cuộc đổi mới ở Việt Nam kể từ năm 1986", "tổng công trình sư nhiều dự án táo bạo". Nhậm chức Thủ tướng giữa muôn vàn khó khăn Năm 1985, sau một thập niên theo mô hình bao cấp, kinh tế Việt Nam ngày càng phụ thuộc vào viện trợ và vay nợ nước ngoài, lên đến 8,5 tỷ ruble (khoảng 3.500 tỷ đồng) và 1,9 tỷ USD (gần 45.600 tỷ đồng). Cứ thêm một năm, mô hình càng trục trặc và lỗi thời. Ngân sách bị thâm hụt và phải bù đắp bằng việc in tiền để chi tiêu. Việc lặp lại sai lầm "giá - lương - tiền" khiến lạm phát phi mã lên gần 775% vào năm 1986 và vẫn ở mức hai chữ số những năm 1990, 1991. Trong khi đó, tỷ lệ thất nghiệp lên đến 12,7%. Những chỉ số đáng báo động đã góp phần thức tỉnh tư duy các nhà lãnh đạo, dẫn đến quyết định đổi mới tại Đại hội VI (tháng 12/1986). Trong đó, đổi mới về kinh tế là một trong những nhiệm vụ trọng tâm, nhằm đưa đất nước thoát khỏi nguy khó. Ông Võ Văn Kiệt, lúc ấy đang là Phó chủ tịch Hội đồng Bộ trưởng, trở thành một lãnh đạo chủ chốt kiến tạo nên công cuộc này.'
tokenized_text = tokenizer.encode(src, return_tensors="pt").cuda()
model.eval()
summary_ids = model.generate(
                    tokenized_text,
                    max_length=256, 
                    num_beams=5,
                    repetition_penalty=2.5, 
                    length_penalty=1.0, 
                    early_stopping=True
                )
output = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
output

output: Ông Võ Văn Kiệt, lúc ấy đang là Phó chủ tịch Hội đồng Bộ trưởng, trở thành một lãnh đạo chủ chốt kiến tạo nên công cuộc đổi mới ở Việt Nam kể từ năm 1986. Trong khi đó, ông Võ Văn Kiệt đã mang đến nhiều cải cách kinh tế cho Việt Nam.

Author

Phan Minh Toan