README.md

---
tags:
- summarization
- mT5
language:
- th
widget:
- taxt: "ผมกินตับหมูดิบแล้วหมดสติไป พอฟื้นอีกทีในต่างโลกดันกลายเป็นหมูซะงั้น! คนที่ช่วยผมเอาไว้คือเจส สาวน้อยผู้อ่านใจคนได้ อู๊ด! น่ารัก! ระดับสายตาหมูทำให้เห็นอะไรสีขาวบริสุทธิ์แวบๆ แจ่มเลย... “เอ่อ ฉันได้ยินเสียงในใจของคุณนะคะ…” ฉิบแล้ว! ความมักมากรั่วไหลหมด! แม้ว่าชีวิตประสาหมูที่มีเด็กสาวผู้อ่อนโยนคอยดูแลจะไม่เลว ผมก็ตัดสินใจมุ่งหน้าสู่นครหลวงพร้อมกับเจสเพื่อหาทางกลับเป็นมนุษย์ การเดินทางแสนรื่นรมย์จึงเริ่มต้นขึ้น... แต่ไหงเราถึงถูกตามล่าเอาชีวิตล่ะเนี่ย!?"
- example_title: "Novel"
---

# mt5-base-thaisum
This repository contains the finetuned mT5-base model for Thai sentence summarization. The architecture of the model is based on mT5 model and fine-tuned on text-summarization pairs in Thai.

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 5e-04
- train_batch_size: 8
- eval_batch_size: 1
- seed: 42
- optimizer: AdamW with betas=(0.9,0.999), epsilon=1e-08 and weight_decay=0.1
- warmup step: 5000
- lr_scheduler_type: linear
- num_epochs: 6
- gradient_accumulation_steps: 4

### Framework versions

- Transformers 
- Pytorch 
- Tokenizers