End of training

README.md

@@ -1,4 +1,6 @@
 ---
+language:
+- id
 license: apache-2.0
 base_model: LazarusNLP/IndoNanoT5-base
 tags:
@@ -18,10 +20,10 @@ should probably proofread and complete it, then remove this comment. -->
 This model is a fine-tuned version of [LazarusNLP/IndoNanoT5-base](https://huggingface.co/LazarusNLP/IndoNanoT5-base) on an unknown dataset.
 It achieves the following results on the evaluation set:
 - Loss: 0.4618
-- Rouge1: 0.7261
+- Rouge1: 0.414
 - Rouge2: 0.0
-- Rougel: 0.7257
-- Rougelsum: 0.7223
+- Rougel: 0.4145
+- Rougelsum: 0.4144
 - Gen Len: 1.0
 
 ## Model description

all_results.json

@@ -1,29 +1,29 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.4733169972896576,
-    "eval_rouge1": 0.3767,
+    "eval_loss": 0.46178075671195984,
+    "eval_rouge1": 0.414,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.3787,
-    "eval_rougeLsum": 0.3802,
-    "eval_runtime": 623.4734,
+    "eval_rougeL": 0.4145,
+    "eval_rougeLsum": 0.4144,
+    "eval_runtime": 419.5858,
     "eval_samples": 747,
-    "eval_samples_per_second": 1.198,
-    "eval_steps_per_second": 0.038,
+    "eval_samples_per_second": 1.78,
+    "eval_steps_per_second": 0.057,
     "predict_gen_len": 1.0,
-    "predict_loss": 0.4969109892845154,
-    "predict_rouge1": 0.3848,
+    "predict_loss": 0.4849921762943268,
+    "predict_rouge1": 0.3902,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.3827,
-    "predict_rougeLsum": 0.3832,
-    "predict_runtime": 3042.8754,
+    "predict_rougeL": 0.3892,
+    "predict_rougeLsum": 0.3888,
+    "predict_runtime": 2851.7171,
     "predict_samples": 3761,
-    "predict_samples_per_second": 1.236,
-    "predict_steps_per_second": 0.039,
-    "total_flos": 4.90376103985152e+16,
-    "train_loss": 0.6239253980696469,
-    "train_runtime": 3930.1136,
+    "predict_samples_per_second": 1.319,
+    "predict_steps_per_second": 0.041,
+    "total_flos": 4.923147884691456e+16,
+    "train_loss": 0.5914828860706278,
+    "train_runtime": 3932.4916,
     "train_samples": 14266,
-    "train_samples_per_second": 18.15,
-    "train_steps_per_second": 1.135
+    "train_samples_per_second": 18.139,
+    "train_steps_per_second": 1.134
 }

eval_results.json

@@ -1,13 +1,13 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.4733169972896576,
-    "eval_rouge1": 0.3767,
+    "eval_loss": 0.46178075671195984,
+    "eval_rouge1": 0.414,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.3787,
-    "eval_rougeLsum": 0.3802,
-    "eval_runtime": 623.4734,
+    "eval_rougeL": 0.4145,
+    "eval_rougeLsum": 0.4144,
+    "eval_runtime": 419.5858,
     "eval_samples": 747,
-    "eval_samples_per_second": 1.198,
-    "eval_steps_per_second": 0.038
+    "eval_samples_per_second": 1.78,
+    "eval_steps_per_second": 0.057
 }

generated_predictions.txt

@@ -13,7 +13,7 @@ dapat
 lebih
 1
 atau
-kami
+adalah
 pada
 d
 k
@@ -26,21 +26,21 @@ yang
 dalam
 
 7
-sudah
+bisa
 dengan
 di
-indonesia
+kami
 dengan
 .
 judi
 situs
-saat
+bisa
 besar
-
+jika
 itu
 
 di
-lain
+di
 bahwa
 8
 1
@@ -49,7 +49,7 @@ bahwa
 tidak
 :
 .
-semua
+mereka
 e
 
 akan
@@ -62,8 +62,8 @@ an
 atau
 3
 kan
-satu
-apa
+2
+telah
 dengan
 yang
 di
@@ -71,15 +71,15 @@ di
 k
 atau
 e
-saja
+membuat
 online
 jika
-0
+salah
 maka
 untuk
 online
 8
-saja
+membuat
 d
 /
 adalah
@@ -95,7 +95,7 @@ dari
 atau
 dari
 dia
-secara
+lain
 /
 u
 )
@@ -105,28 +105,28 @@ menjadi
 sebagai
 besar
 banyak
-slot
+kita
 9
 s
 ,
-dari
+"
 dapat
-4
-t
+saja
+setelah
 ini
 lain
-di
+membuat
 ?
-jika
+ada
 e
 8
-kan
-bermain
+
+game
 untuk
 6
 untuk
 2
-hanya
+t
 :
 0
 dalam
@@ -135,9 +135,9 @@ i
 adalah
 membuat
 beberapa
-
+di
 dari
-bermain
+
 
 kita
 5
@@ -149,7 +149,7 @@ pada
 
 saat
 1
-s
+yang
 itu
 bahwa
 indonesia
@@ -168,28 +168,28 @@ oleh
 yang
 bisa
 besar
-hal
+4
 an
 online
 sebagai
-menjadi
+satu
 memiliki
 i
-kita
+?
 secara
 0
 bisnis
 yang
-o
+r
 adalah
 
 dan
 k
 
-beberapa
+saja
 itu
 
-oleh
+banyak
 pada
 0
 0
@@ -197,14 +197,14 @@ mereka
 pada
 baik
 sebagai
-kamu
+judi
 pada
 ini
 -
 k
 
 atau
-tersebut
+1
 ini
 orang
 dapat
@@ -232,7 +232,7 @@ saja
 itu
 d
 salah
-.
+indonesia
 ini
 game
 orang
@@ -243,13 +243,13 @@ tahun
 ingin
 indonesia
 "
-para
+n
 permainan
 perlu
 ada
 .
 sudah
-.
+1
 untuk
 bahwa
 hanya
@@ -257,33 +257,33 @@ besar
 5
 bahwa
 sangat
-a
-bermain
+"
+
 kan
 online
-slot
-atau
+menggunakan
+tidak
 anda
 3
 agar
 
 
-orang
+lebih
 saat
 anda
 tidak
 melakukan
 8
-juga
+akan
 di
-dalam
-g
+saja
+sehingga
 sebagai
 an
 2
 .
 bisa
-telah
+membuat
 e
 0
 juga
@@ -292,36 +292,36 @@ adalah
 satu
 
 saat
-secara
-pemain
+6
+ini
 /
 anda
-menggunakan
+?
 karena
 permainan
 ke
-maka
+sebagai
 5
 mereka
-pada
+6
 untuk
 :
 5
 dan
 membuat
-banyak
+menjadi
 juga
 "
 
 ini
 bisa
-/
-satu
+oleh
+tersebut
 banyak
 8
 judi
 di
-bagi
+namun
 ,
 bermain
 i
@@ -330,11 +330,11 @@ kami
 sudah
 anda
 judi
-ini
+adalah
 yang
 ,
 saya
-i
+secara
 tersebut
 online
 a
@@ -354,7 +354,7 @@ dalam
 saja
 /
 e
-kita
+melakukan
 banyak
 ?
 hanya
@@ -366,42 +366,42 @@ an
 jika
 ke
 
-
+-
 
 yang
 mereka
 )
 situs
-slot
+bermain
 oleh
 
 bermain
 bisa
 lain
 karena
-0
+memiliki
 sudah
 a
 .
-2
+permainan
 di
 mereka
-?
+jadi
 untuk
 u
 ke
-membuat
+dengan
 cara
 yang
 untuk
 -
-
+lain
 )
 saya
 
 satu
-hal
-bagi
+tahun
+perlu
 pada
 2
 di
@@ -413,7 +413,7 @@ atau
 saja
 pada
 ini
-(
+ada
 oleh
 itu
 itu
@@ -423,14 +423,14 @@ kamu
 itu
 )
 
-semua
+bisa
 judi
 besar
 tahun
-o
+jadi
 membuat
 akan
-sangat
+seperti
 anda
 
 dengan
@@ -443,15 +443,15 @@ s
 )
 yang
 oleh
-2
+/
 kami
 lebih
 dari
-hanya
+a
 nya
 nya
 tersebut
-r
+1
 itu
 "
 i
@@ -461,11 +461,11 @@ karena
 dalam
 )
 jika
-r
+game
 yang
-melakukan
+besar
 mereka
-semua
+uang
 a
 -
 :
@@ -475,12 +475,12 @@ itu
 
 salah
 ,
-s
+nya
 -
 )
 
 memiliki
-hal
+4
 
 saya
 )
@@ -505,12 +505,12 @@ untuk
 s
 namun
 jika
-dari
+cara
 tersebut
 e
 nya
 lebih
-apa
+harus
 dia
 -
 saja
@@ -524,7 +524,7 @@ di
 melakukan
 dengan
 dan
-an
+adalah
 tidak
 
 memiliki
@@ -532,7 +532,7 @@ harus
 nya
 bisa
 bermain
-/
+satu
 1
 1
 -
@@ -542,21 +542,21 @@ s
 i
 dari
 lain
-tahun
+online
 u
 3
 tetapi
 bisa
-7
-menjadi
+maka
+banyak
 )
 para
 e
 i
-9
+"
 atau
 indonesia
-ini
+terbaik
 di
 online
 dan
@@ -564,9 +564,9 @@ dan
 .
 membuat
 hal
-slot
+namun
 dengan
-d
+pada
 akan
 
 bahwa
@@ -576,38 +576,38 @@ anda
 di
 pemain
 yang
-banyak
+secara
 untuk
-sebagai
+karena
 saat
 setelah
 anda
 itu
 pemain
-itu
-5
+online
+kamu
 0
 oleh
 5
 seperti
 1
 jika
-
+harus
 tidak
 dengan
 
-jika
+mereka
 u
 :
 bahwa
 tersebut
-d
+/
 itu
-para
+sudah
 oleh
 menjadi
 saat
-para
+6
 dari
 di
 judi
@@ -630,22 +630,22 @@ dan
 0
 tersebut
 8
-a
+beberapa
 )
 adalah
 saya
 yang
-ini
+tidak
 dengan
 dalam
 semua
 cara
-9
+seperti
 
 dan
 baik
 dari
-3
+baik
 di
 beberapa
 untuk
@@ -657,7 +657,7 @@ online
 menjadi
 9
 tidak
-telah
+6
 kami
 judi
 satu
@@ -670,22 +670,22 @@ atau
 s
 orang
 adalah
-satu
+bagi
 melakukan
-ada
+d
 kami
 orang
 
-slot
-membuat
+semua
+jika
 satu
 atau
-seperti
+yang
 bisa
 menjadi
 
 dengan
--
+dengan
 tidak
 saya
 bermain
@@ -709,7 +709,7 @@ nya
 baik
 (
 :
-:
+dapat
 an
 memiliki
 di
@@ -749,35 +749,35 @@ i
 adalah
 ini
 :
-adalah
+0
 dan
 /
-semua
+)
 juga
 yang
 baik
 dengan
-(
-orang
+n
+9
 
 :
 ke
 p
 untuk
 0
-,
+karena
 banyak
 dengan
 telah
 menjadi
 s
-namun
-dalam
+harus
+0
 i
 di
 bahwa
 bermain
-/
+sudah
 sudah
 dan
 di
@@ -786,7 +786,7 @@ atau
 kan
 orang
 hal
-?
+beberapa
 satu
 ,
 tersebut
@@ -797,24 +797,24 @@ membuat
 ke
 pada
 8
-kamu
-
 sebagai
+
+9
 untuk
-itu
+hanya
 dari
 dalam
 ini
 ini
-orang
+judi
 sebagai
 pada
-judi
+sebagai
 situs
 1
 
 .
-nya
+k
 dari
 semua
 karena
@@ -822,10 +822,10 @@ mereka
 akan
 di
 )
-8
+cara
 anda
 6
-judi
+besar
 orang
 :
 d
@@ -833,26 +833,26 @@ itu
 baik
 .
 kami
-9
+kamu
 untuk
 lebih
 0
 
-6
+membuat
 adalah
-saja
 7
+saya
 menggunakan
 0
-bisa
+0
 yang
-.
+secara
 tidak
 beberapa
 dari
 ke
 1
-online
+membuat
 :
 untuk
 nya
@@ -873,13 +873,13 @@ cara
 sudah
 karena
 slot
-3
+cara
 
 (
 akan
 waktu
 ada
-tersebut
+seperti
 tentang
 u
 
@@ -890,7 +890,7 @@ seperti
 untuk
 oleh
 /
-8
+sangat
 memiliki
 kan
 bisa
@@ -898,26 +898,26 @@ anda
 
 dari
 i
-o
+tidak
 judi
 kan
-7
+secara
 
 0
 menjadi
 memiliki
-ada
+d
 poker
 banyak
 d
 ,
-karena
+cara
 adalah
 akan
 mudah
 ke
-d
-waktu
+para
+apa
 ,
 mudah
 saya
@@ -925,14 +925,14 @@ juga
 tersebut
 memiliki
 7
-bermain
+semua
 t
-kami
+d
 
 itu
 mereka
 6
-permainan
+/
 banyak
 4
 k
@@ -951,20 +951,20 @@ tersebut
 dalam
 ada
 
-oleh
+?
 anda
 n
-beberapa
+dapat
 indonesia
 kita
 judi
 kamu
-bahwa
+sangat
 memiliki
 
 5
 dan
-kita
+cara
 /
 4
 0
@@ -976,7 +976,7 @@ saat
 kan
 (
 satu
-ke
+di
 maka
 banyak
 akan
@@ -992,16 +992,16 @@ banyak
 
 orang
 4
-7
+namun
 kami
 menjadi
 dapat
-ini
+u
 (
 k
 /
 online
-4
+ke
 kita
 game
 ?
@@ -1015,7 +1015,7 @@ jadi
 yang
 saat
 4
-pun
+ini
 :
 0
 2
@@ -1025,7 +1025,7 @@ ini
 menjadi
 -
 jika
-bisa
+memiliki
 mereka
 0
 lebih
@@ -1038,7 +1038,7 @@ a
 
 ada
 dari
-bagi
+an
 akan
 bahwa
 membuat
@@ -1049,7 +1049,7 @@ itu
 :
 sudah
 -
-judi
+a
 ,
 baik
 tersebut
@@ -1080,17 +1080,17 @@ dalam
 
 sudah
 dan
-itu
 untuk
-juga
+untuk
+harus
 permainan
 lebih
-para
-memiliki
-salah
+7
+hanya
+kamu
 
 .
-untuk
+taruhan
 k
 
 nya
@@ -1099,9 +1099,9 @@ dalam
 dan
 mereka
 /
--
+i
 menjadi
-beberapa
+6
 u
 a
 situs
@@ -1110,7 +1110,7 @@ menjadi
 adalah
 -
 indonesia
-dapat
+itu
 a
 bisa
 di
@@ -1123,7 +1123,7 @@ untuk
 satu
 
 u
-online
+baik
 
 saja
 adalah
@@ -1140,7 +1140,7 @@ permainan
 salah
 bisa
 mendapatkan
-oleh
+saat
 :
 bahwa
 sudah
@@ -1148,8 +1148,8 @@ sudah
 hal
 cara
 dan
-k
-–
+8
+rumah
 ,
 2
 
@@ -1168,7 +1168,7 @@ nya
 cara
 .
 0
-)
+banyak
 jika
 akan
 ke
@@ -1189,7 +1189,7 @@ memiliki
 itu
 poker
 a
-6
+hanya
 sebagai
 7
 memiliki
@@ -1206,16 +1206,16 @@ dari
 para
 lebih
 dengan
-kami
+/
 d
-harus
+dapat
 hanya
 adalah
 dengan
 indonesia
 dalam
 yang
-semua
+0
 
 lebih
 :
@@ -1229,15 +1229,15 @@ akan
 ini
 membuat
 dengan
-cara
-
+3
+dari
 banyak
 dan
 tidak
 saat
 k
 i
-
+tidak
 hal
 karena
 banyak
@@ -1251,9 +1251,9 @@ lain
 
 untuk
 indonesia
-nya
+-
 situs
-
+itu
 .
 pada
 bisa
@@ -1280,28 +1280,28 @@ m
 lebih
 indonesia
 hanya
-saja
+juga
 untuk
 -
 "
 saja
 ,
-seperti
+/
 online
 s
 ini
 kami
-an
+kami
 9
 anda
-dengan
+dalam
 1
 beberapa
-2
+cara
 cara
 9
 itu
-seperti
+hal
 .
 )
 kita
@@ -1320,10 +1320,10 @@ membuat
 s
 i
 secara
-baik
+9
 melakukan
 ini
-hanya
+a
 7
 1
 baik
@@ -1331,20 +1331,20 @@ baik
 9
 (
 /
-/
+.
 2
 mereka
 dan
 1
-indonesia
+oleh
 bagi
 u
 
 anda
-saya
+apa
 ada
 .
-indonesia
+6
 sudah
 juga
 1
@@ -1353,9 +1353,9 @@ salah
 besar
 slot
 p
-judi
-hanya
-saya
+9
+.
+besar
 )
 kita
 e
@@ -1363,7 +1363,7 @@ e
 atau
 
 sangat
-9
+hanya
 dapat
 tersebut
 oleh
@@ -1371,13 +1371,13 @@ yang
 cara
 
 
-taruhan
+
 
 tersebut
 ?
 juga
 saat
-permainan
+tapi
 
 -
 .
@@ -1385,33 +1385,33 @@ permainan
 mereka
 
 indonesia
-online
-8
-uang
+saat
+akan
+.
 akan
 tentang
-pemain
+t
 banyak
 atau
 satu
 ke
 
-orang
-k
+judi
+judi
 seperti
 dari
 permainan
 k
-hal
+dan
 oleh
 kamu
 dengan
 cara
-bisa
+juga
 kan
 maka
 )
-slot
+ke
 secara
 judi
 yang
@@ -1425,9 +1425,9 @@ satu
 dengan
 di
 -
-itu
+untuk
 u
-membuat
+kamu
 mendapatkan
 (
 bisnis
@@ -1435,14 +1435,14 @@ yang
 akan
 online
 memiliki
-saat
+bahwa
 dengan
 i
 s
 "
 ingin
 permainan
-saat
+sangat
 dan
 dari
 
@@ -1450,10 +1450,10 @@ dari
 ke
 banyak
 bisa
-tersebut
+(
 3
 untuk
-game
+beberapa
 ada
 yang
 sebagai
@@ -1483,7 +1483,7 @@ bisa
 ada
 kamu
 lebih
-salah
+atau
 a
 dalam
 2
@@ -1498,13 +1498,13 @@ saja
 sebagai
 sangat
 an
-a
+i
 besar
 ,
 di
 jika
 online
-t
+hanya
 dapat
 u
 baik
@@ -1513,7 +1513,7 @@ akan
 ini
 akan
 ini
-secara
+kan
 d
 
 3
@@ -1525,43 +1525,43 @@ dengan
 dapat
 saat
 5
-kami
+ada
 :
 yang
-sendiri
+m
 mereka
 yang
 hari
-”
+rumah
 5
 t
 dan
 
 banyak
 cukup
-nya
+membuat
 uang
-untuk
+?
 an
 memiliki
 maka
 
 ke
 dalam
-4
+dapat
 mereka
 adalah
 pada
 -
-sudah
+5
 /
 –
 juga
-hal
+,
 dalam
 3
 s
-membuat
+hanya
 ke
 judi
 ,
@@ -1575,12 +1575,12 @@ ada
 kita
 dan
 kamu
-seperti
+orang
 an
 juga
 sangat
-slot
-5
+salah
+lagi
 semua
 tidak
 bahwa
@@ -1588,13 +1588,13 @@ bahwa
 :
 memiliki
 dengan
-5
+"
 .
 untuk
 k
 untuk
 atau
-kan
+m
 tidak
 oleh
 mereka
@@ -1611,7 +1611,7 @@ sebagai
 nya
 dari
 /
-yang
+2
 memiliki
 menjadi
 akan
@@ -1620,7 +1620,7 @@ akan
 dengan
 juga
 mereka
-hari
+judi
 adalah
 9
 maka
@@ -1630,11 +1630,11 @@ dan
 3
 mereka
 8
-ke
+s
 
 sudah
 )
-dalam
+hanya
 dan
 n
 pada
@@ -1656,19 +1656,19 @@ oleh
 dapat
 beberapa
 tidak
-memiliki
+kita
 (
 banyak
-"
+satu
 harus
 yang
 .
 an
 dari
 memiliki
+hal
+kami
 
-nya
-setelah
 dalam
 7
 dari
@@ -1680,57 +1680,57 @@ beberapa
 kami
 nya
 -
-/
-lebih
-lebih
+9
+0
+atau
 beberapa
 .
 ada
 mereka
-dengan
+tahun
 indonesia
 anda
 oleh
-a
+t
 bagi
 tidak
 saya
 dari
 
-0
+game
 di
 saya
 beberapa
 2
 5
-lain
+telah
 6
--
-ada
+dapat
+bisa
 1
-slot
+mereka
 semua
 judi
-6
+karena
 menjadi
 
-permainan
+beberapa
 bisa
 0
 sebagai
 itu
 hal
-t
-8
+6
+game
 online
-permainan
+melakukan
 
 
 kami
 
 sangat
 uang
-kan
+banyak
 cara
 ada
 lain
@@ -1740,7 +1740,7 @@ karena
 tersebut
 k
 ,
-.
+hanya
 a
 jika
 sangat
@@ -1757,13 +1757,13 @@ menjadi
 ?
 adalah
 
-orang
-sudah
+untuk
+
 9
 saya
 permainan
 uang
-sudah
+bermain
 anda
 orang
 oleh
@@ -1781,12 +1781,12 @@ lebih
 cara
 adalah
 5
-r
+menjadi
 .
 9
 bahwa
 oleh
-uang
+online
 tahun
 .
 hanya
@@ -1799,17 +1799,17 @@ judi
 4
 dengan
 e
-
+dari
 )
 memiliki
 jika
 kami
 sudah
 yang
-karena
+-
 sudah
 tidak
-juga
+banyak
 (
 (
 e
@@ -1821,7 +1821,7 @@ harga
 bisa
 itu
 bisa
-banyak
+dapat
 yang
 d
 membuat
@@ -1833,9 +1833,9 @@ menjadi
 1
 salah
 atau
--
-menjadi
-tidak
+bisa
+k
+an
 kamu
 dan
 satu
@@ -1843,8 +1843,8 @@ telah
 dari
 oleh
 itu
-?
-sangat
+k
+adalah
 7
 
 1
@@ -1858,15 +1858,15 @@ adalah
 7
 6
 online
-?
+permainan
 
 (
 di
 lebih
 secara
 juga
-p
-kamu
+apa
+situs
 itu
 jika
 beberapa
@@ -1874,12 +1874,12 @@ di
 banyak
 dapat
 satu
-kami
+hanya
 oleh
 
 
-a
-m
+d
+maka
 (
 
 sangat
@@ -1894,10 +1894,10 @@ s
 dalam
 harus
 :
-itu
+(
 apa
 ke
-itu
+lebih
 k
 ,
 itu
@@ -1911,9 +1911,9 @@ karena
 menjadi
 ke
 memiliki
-1
+oleh
 pada
-saya
+uang
 dari
 a
 untuk
@@ -1949,18 +1949,18 @@ saat
 sudah
 itu
 kami
-poker
+
 adalah
 
 untuk
 t
-?
+hanya
 3
 juga
 tersebut
-lainnya
+dia
 uang
-"
+hal
 o
 satu
 kan
@@ -1979,19 +1979,19 @@ karena
 online
 bahwa
 dengan
-k
+oleh
 permainan
 pada
 tidak
 harga
-a
+sebagai
 hanya
 (
 bahwa
 hanya
 dapat
 sangat
-masih
+8
 lebih
 yang
 dengan
@@ -2006,14 +2006,14 @@ jika
 2
 lebih
 yang
-saya
-saja
+ke
+kamu
 .
 )
 akan
 hal
 2
-situs
+/
 .
 e
 mereka
@@ -2026,23 +2026,23 @@ mudah
 -
 bahwa
 membuat
-sebagai
+kan
 baik
 dari
 :
-"
+sudah
 di
-ingin
-terbaik
+
+apa
 2
 slot
 jika
-
+dari
 5
 
 lain
 harus
-mereka
+salah
 d
 namun
 anda
@@ -2061,7 +2061,7 @@ game
 s
 0
 1
-8
+lebih
 )
 hal
 ke
@@ -2069,20 +2069,20 @@ kan
 banyak
 slot
 lebih
-harus
--
+indonesia
+
 ,
-ini
+kami
 )
-orang
+online
 seperti
 sudah
-m
+sama
 9
-membuat
-jika
-3
-bisa
+slot
+1
+kita
+atau
 untuk
 
 4
@@ -2104,18 +2104,18 @@ melakukan
 dapat
 itu
 setelah
-u
+4
 nya
 menjadi
 cara
 5
 ingin
-rumah
+
 bahwa
-harus
+di
 tidak
 2
-tersebut
+bahwa
 i
 di
 lain
@@ -2125,12 +2125,12 @@ memiliki
 d
 beberapa
 online
-i
+orang
 kami
 oleh
-maka
+baik
 1
-dari
+besar
 di
 bagi
 saat
@@ -2142,22 +2142,22 @@ pemain
 dari
 "
 ada
-,
+nya
 ?
-salah
+lain
 situs
 hal
 4
 dapat
 .
 ke
-permainan
+cara
 hanya
-setiap
+tahun
 bahwa
-saja
+kami
 untuk
-dengan
+lagi
 s
 1
 sebagai
@@ -2170,20 +2170,20 @@ i
 2
 9
 bahwa
-–
-?
-ini
+salah
+juga
+untuk
 ada
 dalam
 untuk
-tersebut
+m
 hal
-menjadi
+uang
 satu
 yang
 8
 2
-secara
+saja
 ,
 )
 e
@@ -2196,7 +2196,7 @@ pada
 beberapa
 yang
 ,
-kamu
+saja
 kami
 satu
 untuk
@@ -2210,7 +2210,7 @@ itu
 mereka
 
 yang
-untuk
+nya
 
 saja
 s
@@ -2229,7 +2229,7 @@ memiliki
 e
 ,
 tahun
-(
+kita
 adalah
 dalam
 bermain
@@ -2237,7 +2237,7 @@ bermain
 1
 game
 0
-0
+a
 anda
 (
 lebih
@@ -2260,13 +2260,13 @@ besar
 banyak
 ke
 para
-
+yang
 akan
 an
 bisa
 
 beberapa
-o
+
 3
 uang
 adalah
@@ -2291,13 +2291,13 @@ sangat
 a
 1
 (
-
+kamu
 permainan
 adalah
 tersebut
 salah
 judi
-kamu
+an
 indonesia
 akan
 sangat
@@ -2307,11 +2307,11 @@ dari
 e
 
 e
-nya
+
 satu
-dengan
 bisa
-(
+bisa
+di
 s
 dalam
 ada
@@ -2337,20 +2337,20 @@ bahwa
 memiliki
 slot
 dan
-oleh
-semua
+dapat
+lain
 6
 telah
 kita
 untuk
-u
+bermain
 m
 memiliki
 ada
-memiliki
+harus
 )
 tersebut
-memiliki
+sangat
 
 karena
 online
@@ -2359,21 +2359,21 @@ maka
 lain
 bisa
 nya
-memiliki
+an
 mereka
 di
 yang
-secara
+dalam
 satu
-mendapatkan
+7
 
 -
 semua
 i
 jika
-hari
+a
 indonesia
-hanya
+karena
 k
 
 d
@@ -2383,9 +2383,9 @@ yang
 
 
 
-(
+atau
 banyak
-ini
+para
 menjadi
 juga
 untuk
@@ -2412,22 +2412,22 @@ ini
 9
 akan
 d
+pemain
 menggunakan
-mudah
 dalam
 )
 /
 dan
-o
+karena
 maka
 0
 beberapa
-kami
+kamu
 permainan
 3
 ,
 bisa
-sebagai
+?
 online
 banyak
 game
@@ -2452,7 +2452,7 @@ yang
 yang
 saya
 yang
-sudah
+an
 adalah
 karena
 judi
@@ -2478,10 +2478,10 @@ i
 (
 
 
-4
+cara
 yang
 saja
-m
+akan
 ini
 membuat
 anda
@@ -2490,29 +2490,29 @@ slot
 ,
 online
 6
-untuk
+seperti
 atau
 membuat
 hal
 nya
 yang
-:
+2
 4
 4
-t
+pada
 hal
 ada
 8
-membuat
+6
 nya
 dengan
-slot
+saat
 kita
 sudah
 situs
 untuk
 menjadi
-waktu
+mereka
 p
 
 itu
@@ -2531,23 +2531,23 @@ uang
 2
 e
 dalam
-yang
+:
 itu
 dari
 
-p
+lebih
 4
 t
 "
 
-:
+mereka
 harus
 "
 saja
 untuk
 uang
-atau
-dalam
+juga
+tersebut
 saja
 0
 satu
@@ -2572,13 +2572,13 @@ yang
 ,
 bisnis
 t
-dengan
-membuat
-atau
+namun
+cara
+7
 untuk
 .
 .
-kan
+indonesia
 4
 ke
 dengan
@@ -2595,7 +2595,7 @@ akan
 dapat
 slot
 
-5
+)
 :
 e
 saja
@@ -2604,7 +2604,7 @@ i
 hanya
 para
 3
-mereka
+baik
 kita
 
 /
@@ -2626,7 +2626,7 @@ sebagai
 itu
 juga
 judi
-satu
+e
 0
 nya
 anda
@@ -2637,7 +2637,7 @@ yang
 )
 yang
 "
-
+dengan
 5
 tersebut
 atau
@@ -2648,35 +2648,35 @@ tidak
 anda
 sudah
 :
-beberapa
+jika
 tidak
 dengan
-yang
+0
 6
-itu
+jika
 0
 -
 saja
-dan
-beberapa
+nya
+kami
 .
-yang
+apa
 namun
 u
-jadi
+saja
 bisa
 karena
 harus
-oleh
+sangat
 0
 judi
-1
+sebagai
 anda
 cara
-judi
-permainan
+besar
+cara
 memiliki
-juga
+sudah
 di
 k
 (
@@ -2690,24 +2690,24 @@ s
 ,
 
 telah
-indonesia
-6
+salah
+sangat
 untuk
 atau
-namun
+game
 semua
-,
-dengan
-
-situs
+3
+harus
 
+cara
+dengan
 satu
 adalah
-)
+situs
 yang
 anda
 apa
-2
+0
 dan
 ini
 di
@@ -2716,29 +2716,29 @@ pada
 1
 oleh
 .
-cara
+judi
 )
-o
+bermain
 5
-menjadi
+bermain
 :
 bisa
 o
-di
+saja
 2
-di
+-
 adalah
 situs
 5
-akan
+saat
 di
 mereka
 ini
-menggunakan
+d
 dari
 permainan
 i
-kan
+4
 akan
 yang
 semua
@@ -2747,7 +2747,7 @@ ini
 akan
 salah
 online
-online
+game
 ada
 yang
 -
@@ -2767,7 +2767,7 @@ saat
 saya
 akan
 -
-cara
+besar
 beberapa
 anda
 2
@@ -2793,7 +2793,7 @@ mendapatkan
 hal
 mereka
 0
-a
+ini
 saja
 
 ini
@@ -2802,10 +2802,10 @@ ini
 nya
 t
 bahwa
-karena
+7
 4
 yang
-cara
+mereka
 i
 hanya
 )
@@ -2819,9 +2819,9 @@ untuk
 
 dapat
 e
-akan
+tidak
 ,
-"
+anda
 di
 juga
 dalam
@@ -2830,18 +2830,18 @@ saya
 untuk
 satu
 jika
-/
+u
 0
 (
 tersebut
-harga
+menggunakan
 .
 anda
-hanya
-ini
+satu
+bisa
 ini
 adalah
-baik
+dalam
 8
 ini
 ?
@@ -2862,18 +2862,18 @@ adalah
 ,
 sebagai
 
-untuk
+0
 k
 s
 u
 tidak
 saat
 dengan
-5
+banyak
 banyak
 )
 "
-s
+.
 dalam
 kami
 kita
@@ -2882,23 +2882,23 @@ bermain
 dan
 sudah
 maka
-?
+kami
 dengan
 permainan
 tersebut
 .
 bisa
-a
+an
 e
 akan
-hanya
+s
 ?
 jika
 
 0
 3
 memiliki
-dengan
+6
 itu
 sangat
 0
@@ -2910,7 +2910,7 @@ pada
 untuk
 1
 harus
-
+kan
 secara
 
 
@@ -2919,7 +2919,7 @@ kan
 s
 adalah
 dapat
-memiliki
+satu
 -
 sudah
 dalam
@@ -2945,34 +2945,34 @@ dan
 saja
 situs
 banyak
-seperti
+sudah
 saat
-pemain
+akan
 7
 akan
 lebih
 kami
-besar
+d
 baik
 nya
 menjadi
 5
 uang
 terbaik
-hal
+harus
 ,
 lain
-dalam
+besar
 dan
 akan
-saja
+seperti
 2
 ini
 u
 apa
 mereka
 satu
-k
+bagi
 s
 apa
 dan
@@ -2986,9 +2986,9 @@ tersebut
 cara
 ke
 telah
-s
+anda
 situs
-o
+kamu
 4
 salah
 seperti
@@ -2998,7 +2998,7 @@ baru
 t
 0
 hanya
-dengan
+anda
 menjadi
 /
 yang
@@ -3008,26 +3008,26 @@ dengan
 seperti
 
 di
-lebih
+itu
 karena
 pada
-adalah
+menjadi
 
 sangat
 saat
 9
 s
-0
+tidak
 (
 hal
 akan
-sangat
+harus
 lebih
 
 ?
 nya
 d
-membuat
+akan
 pada
 adalah
 salah
@@ -3035,8 +3035,8 @@ d
 banyak
 )
 secara
-0
-"
+dan
+e
 lebih
 situs
 8
@@ -3054,7 +3054,7 @@ adalah
 5
 beberapa
 online
-baik
+
 ini
 .
 pada
@@ -3069,19 +3069,19 @@ dari
 e
 lebih
 )
-tidak
+"
 dari
 orang
-telah
+poker
 4
 0
 nya
 kamu
 6
-hal
+tidak
 ,
 mendapatkan
-permainan
+kamu
 dapat
 di
 permainan
@@ -3095,19 +3095,19 @@ baik
 anda
 kan
 .
-karena
+dengan
 akan
 membuat
 
-cara
-kami
-p
+8
+kita
+judi
 seperti
 
 .
-bisnis
+para
 3
-7
+d
 dan
 melakukan
 0
@@ -3116,7 +3116,7 @@ dalam
 sebagai
 situs
 tersebut
-0
+8
 -
 3
 pemain
@@ -3129,42 +3129,42 @@ dengan
 
 5
 dari
-s
+juga
 nya
 karena
 cara
 adalah
-satu
+an
 membuat
 ini
 sudah
 dengan
-pada
+i
 m
 dengan
 ,
 karena
 6
 )
-lebih
-i
+t
+nya
 s
 2
-hal
+sangat
 7
-ke
+sangat
 baik
 yang
 beberapa
-indonesia
+lain
 
 ,
 
 "
 1
-0
+t
 lebih
-ke
+banyak
 mendapatkan
 masih
 saya
@@ -3189,17 +3189,17 @@ saja
 
 
 lain
-bahwa
+anda
 
 satu
 ini
 secara
 karena
-sangat
+situs
 harus
 
-besar
-saya
+permainan
+ada
 ini
 karena
 orang
@@ -3224,7 +3224,7 @@ hal
 bahwa
 seperti
 uang
-membuat
+salah
 saat
 cara
 ,
@@ -3233,8 +3233,8 @@ lebih
 dari
 atau
 sangat
-/
-kami
+tetapi
+judi
 ini
 memiliki
 .
@@ -3244,7 +3244,7 @@ satu
 dan
 indonesia
 hanya
-)
+8
 bahwa
 di
 atau
@@ -3253,34 +3253,34 @@ untuk
 an
 ada
 kamu
-yang
-pada
+
+adalah
 saya
-cara
+kamu
 ke
 ,
-u
+ini
 yang
 s
 2
 
-u
+"
 yang
 lebih
 ,
 tidak
-situs
+tidak
 7
 telah
 1
-(
+orang
 saat
 ,
 secara
 an
 hanya
 untuk
-kami
+anda
 oleh
 n
 ,
@@ -3288,11 +3288,11 @@ n
 e
 3
 salah
-saya
+sebagai
 kita
-4
 8
-7
+bisa
+t
 ?
 5
 judi
@@ -3302,35 +3302,35 @@ tidak
 adalah
 9
 mereka
-situs
-2
+pada
 2
+0
 adalah
 karena
 karena
 an
-atau
+online
 8
 saat
 nya
-bisa
+pada
 saya
-oleh
+5
 a
-"
+e
 
 k
 bahwa
-besar
+hanya
 situs
 dan
-kan
+secara
 bagi
-
+ini
 karena
 n
-dapat
-5
+tidak
+sudah
 kamu
 untuk
 itu
@@ -3341,8 +3341,8 @@ membuat
 anda
 di
 menjadi
-jika
-
+)
+(
 beberapa
 
 ke
@@ -3360,7 +3360,7 @@ hal
 indonesia
 5
 2
-dapat
+1
 telah
 situs
 
@@ -3369,10 +3369,10 @@ saja
 4
 3
 dalam
-tidak
+lain
 anda
 an
-jadi
+i
 ini
 4
 bisa
@@ -3381,13 +3381,13 @@ nya
 harus
 untuk
 i
-o
+apa
 
 dapat
 tidak
 d
 melakukan
-sebagai
+sudah
 akan
 sebagai
 orang
@@ -3399,34 +3399,34 @@ dengan
 "
 saya
 saya
-5
+saya
 ,
 untuk
 kita
 kami
-
+dan
 para
 2
-baru
+
 dari
 nya
 an
 dan
-dapat
+atau
 2
 s
 menggunakan
 dalam
-itu
+nya
 di
 sangat
 harus
 di
-akan
+cara
 beberapa
 ?
 sebagai
-terbaik
+mudah
 
 sebagai
 s
@@ -3442,16 +3442,16 @@ tersebut
 situs
 situs
 s
-anda
+"
 anda
 o
 nya
 3
 )
-slot
+bisnis
 saja
 .
-r
+uang
 slot
 di
 memiliki
@@ -3460,8 +3460,8 @@ di
 karena
 kami
 pada
-saya
-maka
+cara
+karena
 kamu
 saya
 
@@ -3469,33 +3469,33 @@ saya
 kita
 ini
 
-satu
+ke
 5
-indonesia
-6
+baik
+k
 apa
-beberapa
+membuat
 online
-(
+ada
 mudah
 
 menjadi
-adalah
+situs
 situs
 oleh
-satu
+orang
 ada
 bahwa
 k
 dari
 juga
-karena
+)
 indonesia
 
 memiliki
 
 k
-3
+untuk
 e
 /
 4
@@ -3509,16 +3509,16 @@ dan
 saja
 3
 ke
-agar
+sendiri
 slot
 )
 judi
 lain
 u
 akan
-beberapa
+pada
 seperti
-o
+bisnis
 a
 kami
 untuk
@@ -3532,67 +3532,67 @@ hal
 juga
 mereka
 dengan
-dari
+0
 cara
 anda
 lebih
 sebagai
 satu
-m
+jadi
 9
 7
 dalam
 i
-saat
+beberapa
 tahun
 bisa
 
-namun
+?
 )
-sangat
+hal
 anda
 bisa
 4
 /
-masih
+jika
 harus
 0
-d
+k
 8
 anda
 dari
 ini
 menjadi
-secara
+slot
 banyak
 dari
 bahwa
-indonesia
+pada
 ini
 3
 untuk
 online
 di
-akan
-sudah
+karena
+maka
 satu
 k
 oleh
 baik
-saya
+/
 salah
 6
 poker
 sebagai
-sebagai
-cara
+7
+secara
 online
 8
 kita
 pada
-oleh
+karena
 dengan
-kita
+memiliki
 saja
 ini
 .
@@ -3603,7 +3603,7 @@ di
 di
 sangat
 slot
-apa
+seperti
 7
 harus
 0
@@ -3635,9 +3635,9 @@ judi
 untuk
 game
 pemain
-u
+ada
 .
-atau
+dan
 oleh
 
 situs
@@ -3649,24 +3649,24 @@ dan
 permainan
 0
 dengan
-karena
+menggunakan
 poker
 ada
 2
-saya
+sebagai
 orang
 satu
-"
+oleh
 dari
 anda
 )
-seperti
-tidak
+sebagai
+nya
 lebih
 a
 yang
 .
--
+adalah
 orang
 salah
 yang
@@ -3687,7 +3687,7 @@ lebih
 "
 2
 atau
-baik
+"
 di
 itu
 karena
@@ -3698,8 +3698,8 @@ karena
 orang
 7
 hal
-saja
-di
+besar
+saat
 )
 slot
 lebih
@@ -3714,7 +3714,7 @@ harus
 para
 menggunakan
 t
-ada
+terbaik
 an
 
 e
@@ -3722,11 +3722,11 @@ baik
 akan
 besar
 membuat
-mungkin
+slot
 akan
 menjadi
 d
-mereka
+(
 ini
 beberapa
 
@@ -3742,7 +3742,7 @@ permainan
 oleh
 menjadi
 akan
-saja
+hal
 dengan
 juga
 :
@@ -3756,6 +3756,6 @@ beberapa
 salah
 dan
 cara
-secara
+membuat
 
-kita
+1

predict_results.json

@@ -1,12 +1,12 @@
 {
     "predict_gen_len": 1.0,
-    "predict_loss": 0.4969109892845154,
-    "predict_rouge1": 0.3848,
+    "predict_loss": 0.4849921762943268,
+    "predict_rouge1": 0.3902,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.3827,
-    "predict_rougeLsum": 0.3832,
-    "predict_runtime": 3042.8754,
+    "predict_rougeL": 0.3892,
+    "predict_rougeLsum": 0.3888,
+    "predict_runtime": 2851.7171,
     "predict_samples": 3761,
-    "predict_samples_per_second": 1.236,
-    "predict_steps_per_second": 0.039
+    "predict_samples_per_second": 1.319,
+    "predict_steps_per_second": 0.041
 }

train_results.json

@@ -1,9 +1,9 @@
 {
     "epoch": 5.0,
-    "total_flos": 4.90376103985152e+16,
-    "train_loss": 0.6239253980696469,
-    "train_runtime": 3930.1136,
+    "total_flos": 4.923147884691456e+16,
+    "train_loss": 0.5914828860706278,
+    "train_runtime": 3932.4916,
     "train_samples": 14266,
-    "train_samples_per_second": 18.15,
-    "train_steps_per_second": 1.135
+    "train_samples_per_second": 18.139,
+    "train_steps_per_second": 1.134
 }

trainer_state.json

@@ -10,112 +10,112 @@
   "log_history": [
     {
       "epoch": 1.0,
-      "grad_norm": 0.5665454268455505,
+      "grad_norm": 0.5859418511390686,
       "learning_rate": 0.0008,
-      "loss": 0.8225,
+      "loss": 0.7784,
       "step": 892
     },
     {
       "epoch": 1.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5298126339912415,
-      "eval_rouge1": 0.7091,
+      "eval_loss": 0.5092072486877441,
+      "eval_rouge1": 0.716,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7089,
-      "eval_rougeLsum": 0.7076,
-      "eval_runtime": 37.8957,
-      "eval_samples_per_second": 19.712,
-      "eval_steps_per_second": 0.633,
+      "eval_rougeL": 0.7135,
+      "eval_rougeLsum": 0.7135,
+      "eval_runtime": 37.7509,
+      "eval_samples_per_second": 19.788,
+      "eval_steps_per_second": 0.636,
       "step": 892
     },
     {
       "epoch": 2.0,
-      "grad_norm": 0.6210952997207642,
+      "grad_norm": 0.6026113629341125,
       "learning_rate": 0.0006,
-      "loss": 0.623,
+      "loss": 0.597,
       "step": 1784
     },
     {
       "epoch": 2.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.506367027759552,
-      "eval_rouge1": 0.7118,
+      "eval_loss": 0.48606443405151367,
+      "eval_rouge1": 0.7099,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.71,
-      "eval_rougeLsum": 0.7093,
-      "eval_runtime": 38.3838,
-      "eval_samples_per_second": 19.461,
-      "eval_steps_per_second": 0.625,
+      "eval_rougeL": 0.7098,
+      "eval_rougeLsum": 0.7065,
+      "eval_runtime": 38.4767,
+      "eval_samples_per_second": 19.414,
+      "eval_steps_per_second": 0.624,
       "step": 1784
     },
     {
       "epoch": 3.0,
-      "grad_norm": 0.7850796580314636,
+      "grad_norm": 0.7780615091323853,
       "learning_rate": 0.0004,
-      "loss": 0.5809,
+      "loss": 0.5538,
       "step": 2676
     },
     {
       "epoch": 3.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.4812556803226471,
-      "eval_rouge1": 0.7155,
+      "eval_loss": 0.47004184126853943,
+      "eval_rouge1": 0.7231,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7147,
-      "eval_rougeLsum": 0.7119,
-      "eval_runtime": 37.6845,
-      "eval_samples_per_second": 19.822,
-      "eval_steps_per_second": 0.637,
+      "eval_rougeL": 0.7238,
+      "eval_rougeLsum": 0.7212,
+      "eval_runtime": 39.3033,
+      "eval_samples_per_second": 19.006,
+      "eval_steps_per_second": 0.611,
       "step": 2676
     },
     {
       "epoch": 4.0,
-      "grad_norm": 0.6170566082000732,
+      "grad_norm": 0.5704962015151978,
       "learning_rate": 0.0002,
-      "loss": 0.5549,
+      "loss": 0.5245,
       "step": 3568
     },
     {
       "epoch": 4.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.4799492061138153,
-      "eval_rouge1": 0.7058,
+      "eval_loss": 0.4649428427219391,
+      "eval_rouge1": 0.7304,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7057,
-      "eval_rougeLsum": 0.7028,
-      "eval_runtime": 38.6292,
-      "eval_samples_per_second": 19.338,
-      "eval_steps_per_second": 0.621,
+      "eval_rougeL": 0.7271,
+      "eval_rougeLsum": 0.7266,
+      "eval_runtime": 37.407,
+      "eval_samples_per_second": 19.97,
+      "eval_steps_per_second": 0.642,
       "step": 3568
     },
     {
       "epoch": 5.0,
-      "grad_norm": 0.6198777556419373,
+      "grad_norm": 0.5992371439933777,
       "learning_rate": 0.0,
-      "loss": 0.5383,
+      "loss": 0.5037,
       "step": 4460
     },
     {
       "epoch": 5.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.4733169972896576,
-      "eval_rouge1": 0.7008,
+      "eval_loss": 0.46178075671195984,
+      "eval_rouge1": 0.7261,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7001,
-      "eval_rougeLsum": 0.6968,
-      "eval_runtime": 38.7242,
-      "eval_samples_per_second": 19.29,
-      "eval_steps_per_second": 0.62,
+      "eval_rougeL": 0.7257,
+      "eval_rougeLsum": 0.7223,
+      "eval_runtime": 37.0144,
+      "eval_samples_per_second": 20.181,
+      "eval_steps_per_second": 0.648,
       "step": 4460
     },
     {
       "epoch": 5.0,
       "step": 4460,
-      "total_flos": 4.90376103985152e+16,
-      "train_loss": 0.6239253980696469,
-      "train_runtime": 3930.1136,
-      "train_samples_per_second": 18.15,
-      "train_steps_per_second": 1.135
+      "total_flos": 4.923147884691456e+16,
+      "train_loss": 0.5914828860706278,
+      "train_runtime": 3932.4916,
+      "train_samples_per_second": 18.139,
+      "train_steps_per_second": 1.134
     }
   ],
   "logging_steps": 500,
@@ -123,7 +123,7 @@
   "num_input_tokens_seen": 0,
   "num_train_epochs": 5,
   "save_steps": 500,
-  "total_flos": 4.90376103985152e+16,
+  "total_flos": 4.923147884691456e+16,
   "train_batch_size": 16,
   "trial_name": null,
   "trial_params": null