File size: 9,395 Bytes
88b0b43
 
 
 
 
 
 
ca9fb7b
318ace7
 
 
 
 
ca9fb7b
0855fa7
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
74622ce
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
11f6ab1
 
ca9fb7b
88b0b43
 
 
 
 
 
 
 
 
 
dd1c3d4
88b0b43
dd1c3d4
88b0b43
 
dd1c3d4
88b0b43
 
 
 
 
 
ca9fb7b
 
 
 
c0634e7
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ca9fb7b
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
---
language:
- th
pipeline_tag: summarization
tags:
- summarization
- pegasus_x
widget:
  - text: >-
      หนุ่มว่างงานอายุ 34 ปีที่เกาะพ่อแม่กินไปวัน ๆ เมื่อพ่อแม่จากไป พี่น้องก็ทนไม่ไหวไล่ตะเพิดเขาออกจากบ้าน ขณะกำลังสิ้นหวังและนึกเสียใจ เขาก็ถูกรถบรรทุกชนตาย 
      ทว่าเมื่อลืมตาตื่นขึ้นอีกครั้ง ก็พบว่าตัวเองเกิดใหม่ในโลกต่างมิติแห่งดาบและเวทมนตร์ !? แม้ช่วงแรกจะรู้สึกสับสน แต่เขาก็ตัดสินใจใช้ความรู้และประสบการณ์ที่หลงเหลือจากชาติที่แล้ว...
      เพื่อเริ่มชีวิตใหม่ให้เป็นผู้เป็นคน !
    example_title: Novel
  - text: >-
      หนุ่มใหญ่วัย 49 ปี เสียชีวิตคาบ้านย่านปากเกร็ด สภาพมีเลือดออกปากกองใหญ่
      ข้างศพมีไซริงค์ฉีดยา เพื่อนบอกมาหาที่บ้าน เห็นว่าฉีดไอซ์ไป 2 เข็ม
      ก่อนคลุ้มคลั่งทำลายข้าวของ ล้มคว่ำหน้าแน่นิ่ง     ,เวลา 22.00 น. วันที่ 6
      ส.ค. ร.ต.ท.พันธ์พงศ์ ภูริวัฒนพงศ์ รอง สว.(สอบสวน) สภ.ปากเกร็ด จ.นนทบุรี
      รับแจ้งมีผู้เสียชีวิตภายในบ้านเลขที่ 77/489 หมู่ 1 หมู่บ้านดวงแก้ว
      ถนนติวานนท์ ต.บ้านใหม่ ไปสอบสวนพร้อมด้วย พ.ต.อ.พงศ์จักร ปรีชาการุณพงศ์
      ผกก. พ.ต.ท.นภธร วาชัยยุง รอง ผกก.ป สภ.ปากเกร็ด แพทย์สถาบันนิติวิทยาศาสตร์
      และเจ้าหน้าที่กู้ภัยมูลนิธิป่อเต็กตึ๊ง ,ที่เกิดเหตุเป็นบ้านทาวน์เฮาส์ 2
      ชั้น บนชั้น 2 พบศพ นายพงษ์ธนกร หรือเอ อุ่นทน อายุ 49 ปี เจ้าของบ้าน
      นอนคว่ำหน้าเสียชีวิตอยู่บนพื้น ในสภาพเลือดออกปาก
      ข้างศพพบไซริงค์ฉีดยาตกอยู่ ทางเจ้าหน้าที่จึงเก็บไว้เป็นหลักฐาน
      นอกจากนี้ข้าวของภายในห้องล้มระเนระนาดกระจัดกระจาย ,จากการสอบปากคำ นายเอ๋
      (นามสมมติ) อายุ 31 ปี ให้การว่า ตนเป็นเพื่อนกับผู้เสียชีวิต
      ก่อนเกิดเหตุได้เดินทางมาหาที่บ้านเห็นผู้เสียชีวิตฉีดยาไอซ์เข้าไป 2 เข็ม
      จากนั้นผู้เสียชีวิตมีอาการคลุ้มคลั่งทำลายข้าวของก่อนนอนคว่ำหน้าแน่นิ่งไป
      กระทั่งเสียชีวิตในที่สุด
      เบื้องต้นเจ้าหน้าที่คาดว่าสาเหตุการเสียชีวิตน่าจะเกิดจากการเสพยาเกินขนาด
      อย่างไรก็ตามจะได้สอบสวนหาสาเหตุที่แท้จริงอีกครั้ง
    example_title: Crime news
    
  - text: >-
      พริ้ง คนเริงเมือง, ผลิตโดยบริษัท มีเดีย สตูดิโอ ร่วมกับ ,นีโน่ บราเดอร์ส,
      ที่ตอนนี้เดินทางมาถึงตอนอวสานแล้ว โดยวันนี้ถึงตอนที่, พริ้ง
      (จั๊กจั่น–อคัมย์สิริ), ฆ่าสามีที่ 6 ,หลวงเสนาะ, ตายไปเรียบร้อย
      ก็ถึงคราวที่จะทำตามใจตัวเองด้วยการอ่อย ,เปรมฤทัย (โตนนท์),
      ลูกชายคนเดียวของ ,หลวงเสนาะ,
      ให้กลายมาเป็นสามีของตัวเองสมใจอยากเสียที,งานนี้สกิลการอ่อยมาเต็ม
      เริ่มจากเดินมาหา, เปรมฤทัย,
      ที่ห้องก่อนจะบอกว่าไม่สามารถทำใจให้เลิกรักได้เลย
      จนมาถึงวันนี้วันที่สามารถเปิดใจได้แล้ว วันที่เราจะรักกันได้แล้ว
      ทำไมต้องห้ามใจอีก, เปรมฤทัย,
      ได้ยินแบบนี้ก็หวั่นไหวคล้อยตามไม่ห้ามใจปล่อยตัวให้ความเสน่หาเข้าครอบงำ,ฉากนี้
      ผกก. ,บุ๋ม–รัญญา, ยกกองไปถ่ายทำที่บ้านท่าไม้ จ.สมุทรสงคราม
      ก่อนเริ่มถ่ายจริง ,บุ๋ม, เรียกทั้ง, จั๊กจั่น, และ ,โตนนท์, มาทำสมาธิ
      และบิ้วท์ให้ทั้งคู่เข้าใจในความต้องการที่ทั้งตัวละคร ,พริ้ง, และ
      ,เปรมฤทัย, ต้องการปลดปล่อยออกมา เมื่อทั้งคู่เข้าใจบทแล้วเริ่มถ่ายจริง
      ,จั๊กจั่น, เล่นเต็มที่ไม่ยั้ง
      พรั่งพรูความรู้สึกที่มีออกมาพร้อมน้ำตาเรียกความสงสาร
      ก่อนจะโน้มจูบกันอย่างดูดดื่ม งานนี้จูบจริงไม่ใช้สแตนด์อินใดๆ
      ติดตามชมฉากแซ่บทิ้งทวน คืนวันพฤหัสบดีนี้ ทางช่อง 7.,ติดตามอ่านนิยายเรื่อง
      พริ้ง คนเริงเมือง ได้ที่นี่
    example_title: Thai movie
---


This repository features a fine-tuned Pegasus X model designed for summarizing Thai text. The architecture of the model is based on the Pegasus X model.

# Library 

```
pip install transformers
```

# Example
```python
from transformers import PegasusXForConditionalGeneration, AutoTokenizer

model = PegasusXForConditionalGeneration.from_pretrained("satjawat/pegasus-x-thai-sum")
tokenizer = AutoTokenizer.from_pretrained("satjawat/pegasus-x-thai-sum")

new_input_string = "ข้อความ"
new_input_ids = tokenizer(new_input_string.lower(), return_tensors="pt").input_ids
summary_ids = model.generate(new_input_ids, max_length=50, num_beams=6, length_penalty=2.0, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print("Input:", new_input_string)
print("Generated Summary:", summary)
```

#  Training hyperparameters 
The following hyperparameters were used during training:
- accumulation_steps: 2
- num_epochs: 20
- num_beams: 6
- learning_rate: lr=5e-5
- optimizer: AdamW with betas=(0.9,0.999) and epsilon=1e-08
- activation_function: gelu
- add_bias_logits: True
- normalize_embedding: True
- add_final_layer_norm: False
- normalize_before: False

# Score
Evaluate the model with the test dataset of <a href="https://github.com/nakhunchumpolsathien/ThaiSum">ThaiSum</a>, consisting of a total of 11,000 articles, with the following scores:
- Rouge1: 0.490279		
- Rouge2: 0.289839
- Rougel: 0.489334