End of training

README.md

@@ -1,4 +1,6 @@
 ---
+language:
+- id
 license: apache-2.0
 base_model: LazarusNLP/IndoNanoT5-base
 tags:
@@ -18,10 +20,10 @@ should probably proofread and complete it, then remove this comment. -->
 This model is a fine-tuned version of [LazarusNLP/IndoNanoT5-base](https://huggingface.co/LazarusNLP/IndoNanoT5-base) on an unknown dataset.
 It achieves the following results on the evaluation set:
 - Loss: 1.7830
-- Rouge1: 0.6862
+- Rouge1: 0.4401
 - Rouge2: 0.0
-- Rougel: 0.6838
-- Rougelsum: 0.6843
+- Rougel: 0.4377
+- Rougelsum: 0.4377
 - Gen Len: 1.0
 
 ## Model description

all_results.json

@@ -0,0 +1,29 @@
+{
+    "epoch": 5.0,
+    "eval_gen_len": 1.0,
+    "eval_loss": 1.7829684019088745,
+    "eval_rouge1": 0.4401,
+    "eval_rouge2": 0.0,
+    "eval_rougeL": 0.4377,
+    "eval_rougeLsum": 0.4377,
+    "eval_runtime": 422.1171,
+    "eval_samples": 747,
+    "eval_samples_per_second": 1.77,
+    "eval_steps_per_second": 0.057,
+    "predict_gen_len": 1.0,
+    "predict_loss": 1.8067684173583984,
+    "predict_rouge1": 0.4506,
+    "predict_rouge2": 0.0,
+    "predict_rougeL": 0.4488,
+    "predict_rougeLsum": 0.4499,
+    "predict_runtime": 2141.4927,
+    "predict_samples": 3761,
+    "predict_samples_per_second": 1.756,
+    "predict_steps_per_second": 0.055,
+    "total_flos": 5.531847691862016e+16,
+    "train_loss": 2.801529929669983,
+    "train_runtime": 5646.3824,
+    "train_samples": 14266,
+    "train_samples_per_second": 12.633,
+    "train_steps_per_second": 0.79
+}

eval_results.json

@@ -0,0 +1,13 @@
+{
+    "epoch": 5.0,
+    "eval_gen_len": 1.0,
+    "eval_loss": 1.7829684019088745,
+    "eval_rouge1": 0.4401,
+    "eval_rouge2": 0.0,
+    "eval_rougeL": 0.4377,
+    "eval_rougeLsum": 0.4377,
+    "eval_runtime": 422.1171,
+    "eval_samples": 747,
+    "eval_samples_per_second": 1.77,
+    "eval_steps_per_second": 0.057
+}

generated_predictions.txt

@@ -0,0 +1,3761 @@
+hanya
+di
+dan
+untuk
+/
+adalah
+saya
+(
+.
+
+untuk
+saat
+karena
+1
+juga
+sebagai
+pada
+kan
+k
+
+2
+.
+satu
+banyak
+yang
+dalam
+
+adalah
+sudah
+dengan
+di
+an
+,
+.
+beberapa
+membuat
+-
+1
+kami
+adalah
+kamu
+di
+di
+
+cara
+t
+saja
+:
+7
+5
+9
+7
+"
+-
+akan
+:
+harus
+cara
+anda
+anda
+judi
+adalah
+3
+beberapa
+
+0
+dengan
+yang
+di
+-
+dengan
+atau
+a
+memiliki
+di
+banyak
+0
+(
+untuk
+dapat
+secara
+hanya
+itu
+online
+juga
+untuk
+ke
+dan
+:
+1
+anda
+di
+orang
+2
+bisa
+dari
+0
+nya
+harus
+4
+t
+membuat
+lebih
+0
+semua
+
+dapat
+slot
+hanya
+hanya
+,
+pada
+s
+
+oleh
+ini
+orang
+dengan
+7
+1
+
+"
+secara
+ini
+untuk
+kami
+-
+1
+membuat
+2
+adalah
+bisa
+t
+i
+akan
+yang
+bahwa
+di
+1
+
+
+satu
+8
+saat
+bermain
+nya
+s
+akan
+
+:
+2
+)
+oleh
+dari
+besar
+salah
+ada
+dan
+
+,
+
+anda
+
+dan
+yang
+menjadi
+sangat
+yang
+dari
+sangat
+"
+dan
+i
+sebagai
+3
+5
+juga
+
+sudah
+2
+4
+
+juga
+pada
+
+dan
+t
+
+sebagai
+adalah
+
+/
+dalam
+:
+ini
+permainan
+tidak
+beberapa
+seperti
+ke
+dalam
+ini
+-
+di
+
+dapat
+dari
+ini
+oleh
+lebih
+orang
+itu
+an
+itu
+yang
+a
+1
+karena
+permainan
+dengan
+kami
+bermain
+
+.
+1
+nya
+anda
+ini
+dengan
+pada
+
+atau
+itu
+satu
+?
+ini
+nya
+oleh
+bisa
+anda
+
+
+
+.
+"
+pada
+juga
+(
+banyak
+.
+menjadi
+harus
+untuk
+situs
+memiliki
+t
+mereka
+judi
+harus
+seperti
+
+cara
+lebih
+ini
+
+anda
+(
+orang
+
+
+ada
+mereka
+anda
+adalah
+
+kita
+oleh
+di
+akan
+dan
+4
+bahwa
+2
+.
+1
+"
+
+0
+dengan
+anda
+
+lebih
+
+satu
+s
+s
+8
+anda
+mereka
+banyak
+di
+mereka
+itu
+3
+karena
+dalam
+untuk
+:
+memiliki
+dan
+ada
+sudah
+atau
+hal
+
+ini
+nya
+sangat
+di
+lebih
+jika
+bahwa
+di
+sudah
+,
+t
+s
+di
+sangat
+oleh
+anda
+/
+banyak
+yang
+,
+8
+kita
+menjadi
+s
+3
+dalam
+ke
+adalah
+sangat
+s
+judi
+
+k
+banyak
+itu
+u
+atau
+dalam
+
+secara
+-
+
+(
+karena
+adalah
+dalam
+
+dalam
+-
+situs
+menjadi
+atau
+
+bisa
+
+yang
+yang
+banyak
+sangat
+-
+cara
+dan
+
+bisa
+0
+dan
+)
+5
+bisa
+.
+2
+di
+banyak
+baik
+untuk
+kamu
+lebih
+dengan
+
+yang
+untuk
+0
+
+karena
+8
+
+satu
+i
+ada
+dalam
+akan
+di
+8
+e
+
+nya
+itu
+k
+tidak
+dengan
+)
+oleh
+
+adalah
+.
+(
+bahwa
+adalah
+ke
+
+nya
+a
+t
+orang
+,
+secara
+akan
+orang
+anda
+
+dengan
+-
+akan
+orang
+saja
+-
+baik
+judi
+yang
+an
+i
+(
+dengan
+dari
+untuk
+dari
+nya
+2
+jika
+pada
+orang
+atau
+2
+tersebut
+tidak
+anda
+ada
+(
+telah
+yang
+dari
+(
+tidak
+secara
+-
+2
+atau
+memiliki
+i
+
+4
+dalam
+i
+ini
+)
+
+oleh
+indonesia
+
+.
+?
+e
+sebagai
+cara
+-
+"
+dalam
+e
+s
+kamu
+banyak
+akan
+tersebut
+t
+ini
+hanya
+dari
+yang
+untuk
+online
+lain
+mereka
+"
+5
+hal
+dari
+ada
+:
+di
+-
+juga
+seperti
+beberapa
+.
+juga
+nya
+1
+di
+bermain
+dengan
+dan
+ada
+
+
+8
+hal
+nya
+bisa
+indonesia
+harus
+1
+1
+-
+satu
+i
+3
+s
+1
+?
+kamu
+an
+nya
+orang
+akan
+satu
+ke
+.
+situs
+satu
+juga
+tersebut
+s
+ini
+dalam
+satu
+)
+anda
+,
+.
+"
+e
+akan
+dengan
+akan
+akan
+memiliki
+4
+karena
+maka
+-
+di
+akan
+yang
+t
+untuk
+cara
+kita
+dan
+anda
+itu
+juga
+tidak
+bahwa
+-
+orang
+5
+cara
+1
+jika
+
+nya
+memiliki
+
+mereka
+.
+adalah
+sebagai
+:
+harus
+atau
+mereka
+sudah
+mereka
+sudah
+-
+dari
+di
+cara
+nya
+3
+untuk
+cara
+secara
+i
+dengan
+1
+sangat
+itu
+akan
+jika
+itu
+e
+di
+dan
+0
+:
+i
+melakukan
+secara
+itu
+sangat
+yang
+bisa
+dengan
+dalam
+telah
+sangat
+hal
+
+dan
+?
+dan
+0
+di
+4
+,
+menggunakan
+atau
+,
+saat
+-
+jika
+i
+dari
+ini
+/
+dan
+oleh
+0
+
+atau
+banyak
+adalah
+baik
+e
+akan
+tidak
+0
+untuk
+juga
+itu
+sangat
+
+pada
+dalam
+satu
+itu
+saya
+bisa
+banyak
+
+dengan
+mereka
+tidak
+saya
+secara
+i
+situs
+t
+dan
+bisa
+-
+0
+harus
+sangat
+untuk
+"
+i
+4
+harus
+nya
+sangat
+1
+tersebut
+karena
+8
+.
+seperti
+yang
+di
+
+banyak
+jika
+2
+dan
+
+t
+dapat
+0
+ini
+dan
+:
+
+yang
+menjadi
+adalah
+:
+ini
+-
+i
+itu
+bisa
+i
+)
+tidak
+1
+anda
+ini
+juga
+banyak
+.
+u
+banyak
+pada
+ini
+jika
+tidak
+,
+oleh
+,
+dalam
+yang
+kita
+dengan
+)
+poker
+
+itu
+.
+orang
+ini
+0
+karena
+banyak
+dengan
+besar
+jika
+s
+dapat
+nya
+juga
+di
+kami
+kan
+an
+menjadi
+dan
+di
+adalah
+
+memiliki
+8
+saya
+yang
+.
+,
+jika
+.
+judi
+"
+4
+lebih
+dalam
+kita
+-
+
+seperti
+untuk
+itu
+?
+akan
+ini
+ini
+k
+saya
+akan
+membuat
+2
+membuat
+
+3
+:
+dari
+sudah
+/
+mereka
+akan
+dan
+untuk
+cara
+anda
+k
+dan
+anda
+mereka
+.
+banyak
+saja
+.
+a
+k
+untuk
+ke
+anda
+
+sebagai
+adalah
+cara
+sebagai
+,
+
+d
+yang
+nya
+bisa
+an
+dari
+(
+online
+online
+saat
+untuk
+nya
+sangat
+ke
+
+dari
+atau
+orang
+5
+kami
+akan
+9
+
+dan
+ini
+poker
+saat
+mereka
+t
+orang
+
+(
+-
+7
+kita
+orang
+an
+permainan
+
+lebih
+nya
+online
+satu
+untuk
+)
+,
+8
+menjadi
+s
+bisa
+2
+
+dari
+i
+bisa
+an
+adalah
+anda
+
+ini
+3
+satu
+k
+menggunakan
+i
+memiliki
+,
+.
+dalam
+akan
+2
+karena
+membuat
+anda
+,
+orang
+cara
+memiliki
+oleh
+kita
+sudah
+0
+,
+beberapa
+
+satu
+i
+?
+s
+lebih
+/
+-
+dalam
+d
+dan
+seperti
+dan
+e
+5
+"
+itu
+jika
+menjadi
+2
+adalah
+atau
+
+saya
+anda
+anda
+juga
+untuk
+5
+cara
+sebagai
+mereka
+satu
+
+mereka
+dan
+sangat
+dengan
+kamu
+"
+menggunakan
+dan
+satu
+2
+jika
+atau
+ke
+8
+karena
+,
+mereka
+dari
+
+memiliki
+0
+lebih
+yang
+cara
+7
+s
+
+
+orang
+orang
+dalam
+untuk
+/
+online
+saja
+(
+an
+satu
+s
+akan
+anda
+di
+dan
+karena
+nya
+hal
+sudah
+8
+k
+atau
+yang
+satu
+orang
+ini
+mereka
+0
+2
+tidak
+
+ini
+3
+-
+semua
+online
+mereka
+s
+dapat
+lebih
+kami
+tidak
+sudah
+:
+?
+
+-
+dari
+baik
+akan
+an
+?
+1
+menjadi
+itu
+hal
+menjadi
+memiliki
+-
+judi
+cara
+?
+/
+anda
+di
+tidak
+seperti
+bisa
+banyak
+yang
+adalah
+di
+bisa
+2
+tidak
+kita
+,
+sudah
+-
+saat
+dapat
+lebih
+e
+
+anda
+itu
+tidak
+dengan
+orang
+dan
+hal
+:
+permainan
+saya
+sudah
+seperti
+
+yang
+
+juga
+untuk
+permainan
+
+nya
+nya
+seperti
+-
+)
+4
+atau
+oleh
+situs
+membuat
+beberapa
+dengan
+
+kita
+9
+-
+kamu
+ada
+lebih
+dari
+di
+saat
+secara
+besar
+hal
+e
+
+8
+
+online
+hal
+
+indonesia
+adalah
+tidak
+situs
+sebagai
+hal
+:
+ke
+bisa
+7
+sebagai
+saja
+hanya
+?
+satu
+
+menjadi
+sangat
+yang
+
+sangat
+tersebut
+dan
+/
+dengan
+,
+besar
+
+a
+yang
+di
+/
+lebih
+
+
+3
+permainan
+online
+dari
+kamu
+satu
+.
+0
+dengan
+menjadi
+bisa
+online
+2
+
+.
+-
+bisa
+dan
+juga
+dengan
+an
+orang
+2
+u
+2
+6
+1
+.
+indonesia
+tersebut
+saya
+harus
+memiliki
+s
+kan
+dapat
+saja
+1
+akan
+k
+
+jika
+untuk
+dan
+
+3
+beberapa
+7
+cara
+bahwa
+akan
+dengan
+k
+akan
+yang
+0
+
+lebih
+?
+)
+anda
+
+bahwa
+dari
+dan
+untuk
+5
+saja
+dengan
+menjadi
+
+pada
+dan
+tidak
+memiliki
+ini
+salah
+anda
+beberapa
+online
+dapat
+,
+
+i
+membuat
+
+saya
+?
+
+untuk
+dapat
+-
+bahwa
+online
+.
+akan
+nya
+harus
+-
+akan
+online
+dari
+?
+ke
+banyak
+(
+1
+sebagai
+orang
+pada
+3
+saat
+
+game
+2
+untuk
+lebih
+s
+k
+bahwa
+juga
+untuk
+-
+an
+akan
+
+-
+s
+itu
+ini
+sebagai
+9
+/
+anda
+dengan
+1
+situs
+memiliki
+6
+8
+itu
+e
+.
+lebih
+menjadi
+judi
+untuk
+secara
+tidak
+online
+sebagai
+kami
+.
+di
+8
+mereka
+k
+0
+juga
+dan
+pada
+
+2
+-
+saja
+1
+
+.
+"
+u
+"
+.
+2
+dengan
+dan
+2
+a
+,
+di
+
+anda
+pada
+(
+.
+saja
+secara
+0
+nya
+untuk
+maka
+k
+di
+permainan
+4
+4
+harus
+karena
+u
+orang
+2
+juga
+
+mereka
+atau
+ini
+orang
+kita
+yang
+tersebut
+
+
+dapat
+
+memiliki
+permainan
+dalam
+memiliki
+yang
+
+ini
+.
+ini
+/
+
+dengan
+oleh
+menjadi
+dan
+tidak
+?
+beberapa
+dalam
+juga
+memiliki
+
+
+saat
+t
+1
+dari
+saya
+0
+saya
+saat
+secara
+i
+yang
+pada
+k
+mereka
+banyak
+u
+9
+permainan
+yang
+untuk
+sudah
+itu
+orang
+dari
+kamu
+kita
+dengan
+di
+-
+pada
+di
+judi
+permainan
+2
+i
+yang
+bisa
+
+
+untuk
+dengan
+
+juga
+/
+.
+kita
+orang
+dan
+nya
+
+bisa
+lebih
+)
+bisa
+8
+karena
+untuk
+"
+bahwa
+yang
+tidak
+,
+nya
+judi
+di
+-
+anda
+5
+)
+ada
+memiliki
+.
+permainan
+kami
+ada
+satu
+
+3
+"
+-
+tidak
+untuk
+bisa
+,
+kami
+sebagai
+nya
+juga
+tersebut
+dalam
+satu
+nya
+ada
+banyak
+
+hal
+di
+akan
+dari
+1
+orang
+situs
+secara
+kan
+,
+di
+juga
+s
+dapat
+dapat
+?
+e
+,
+ada
+ini
+akan
+ini
+0
+2
+
+
+oleh
+dan
+anda
+8
+dengan
+ada
+satu
+kan
+hal
+kita
+yang
+maka
+ke
+yang
+8
+yang
+5
+bahwa
+dan
+
+ke
+.
+seperti
+tidak
+membuat
+4
+menjadi
+ini
+
+yang
+adalah
+k
+:
+adalah
+tidak
+-
+oleh
+orang
+
+itu
+,
+dalam
+slot
+ada
+1
+ada
+situs
+,
+kami
+adalah
+(
+ini
+itu
+secara
+ada
+saya
+dan
+9
+yang
+4
+juga
+
+lain
+kita
+permainan
+adalah
+9
+.
+yang
+sudah
+ini
+tersebut
+.
+untuk
+karena
+untuk
+juga
+ada
+bisa
+5
+karena
+bisa
+tidak
+3
+seperti
+banyak
+
+5
+saat
+/
+
+nya
+saja
+sebagai
+dari
+:
+kita
+pada
+
+1
+dengan
+adalah
+)
+dari
+adalah
+-
+kamu
+
+nya
+dan
+satu
+karena
+memiliki
+ke
+
+memiliki
+bahwa
+hal
+dan
+salah
+pada
+saya
+sudah
+e
+,
+kamu
+0
+anda
+nya
+dan
+dari
+anda
+atau
+harus
+i
+saat
+
+sebagai
+tidak
+sebagai
+mereka
+)
+e
+untuk
+
+.
+bahwa
+dari
+menjadi
+nya
+t
+
+
+situs
+dari
+pada
+anda
+saja
+
+4
+sebagai
+bisa
+-
+kami
+0
+situs
+permainan
+.
+s
+sangat
+dengan
+k
+anda
+3
+
+u
+i
+an
+1
+
+kamu
+di
+sangat
+secara
+1
+(
+7
+8
+sangat
+online
+1
+tidak
+uang
+seperti
+itu
+hanya
+
+kami
+3
+0
+beberapa
+atau
+-
+7
+8
+saat
+9
+
+
+4
+
+e
+memiliki
+dan
+menjadi
+i
+baik
+dalam
+saat
+ada
+satu
+secara
+,
+.
+ini
+dalam
+1
+ke
+s
+tersebut
+.
+3
+2
+0
+,
+menjadi
+ke
+.
+pada
+0
+cara
+
+permainan
+9
+hal
+0
+5
+anda
+situs
+dari
+
+di
+satu
+.
+5
+
+0
+1
+besar
+kan
+s
+harus
+akan
+banyak
+menjadi
+.
+lebih
+"
+tersebut
+
+
+.
+oleh
+yang
+bisa
+di
+ke
+
+an
+dari
+dengan
+orang
+dari
+karena
+)
+saat
+beberapa
+bahwa
+yang
+lebih
+5
+bisa
+hal
+mereka
+)
+8
+yang
+?
+
+ini
+(
+tidak
+ke
+sebagai
+karena
+salah
+permainan
+.
+0
+di
+.
+sebagai
+juga
+1
+-
+s
+bisa
+kan
+bisa
+beberapa
+dan
+oleh
+karena
+ini
+saat
+adalah
+beberapa
+dalam
+seperti
+
+1
+
+secara
+anda
+1
+cara
+atau
+
+atau
+bisa
+atau
+.
+
+mereka
+di
+s
+,
+juga
+.
+sebagai
+juga
+bisa
+bahwa
+di
+(
+bahwa
+banyak
+mereka
+satu
+
+
+harus
+s
+ke
+
+k
+untuk
+,
+
+karena
+sangat
+beberapa
+cara
+ada
+akan
+seperti
+saja
+sangat
+baik
+mereka
+lebih
+
+,
+atau
+"
+judi
+dapat
+6
+beberapa
+itu
+dapat
+menjadi
+judi
+8
+satu
+orang
+bagi
+an
+a
+untuk
+dalam
+juga
+sangat
+kamu
+dengan
+pada
+dalam
+juga
+menjadi
+indonesia
+dari
+
+
+
+banyak
+
+dan
+/
+
+dengan
+oleh
+lebih
+yang
+an
+)
+2
+-
+di
+adalah
+satu
+karena
+k
+
+ada
+sangat
+an
+?
+membuat
+)
+adalah
+sangat
+2
+besar
+itu
+-
+
+sebagai
+sangat
+ada
+s
+orang
+dengan
+.
+orang
+seperti
+tidak
+nya
+juga
+mereka
+s
+/
+dengan
+anda
+
+bisa
+tidak
+dan
+dari
+sebagai
+anda
+seperti
+seperti
+dapat
+sangat
+sangat
+dapat
+yang
+mereka
+
+sudah
+,
+satu
+permainan
+kita
+atau
+(
+2
+ada
+yang
+dapat
+0
+.
+ke
+tidak
+situs
+2
+seperti
+.
+tersebut
+banyak
+baik
+an
+
+9
+i
+"
+ini
+bahwa
+beberapa
+situs
+indonesia
+karena
+(
+memiliki
+di
+
+dari
+2
+3
+harus
+
+3
+
+lain
+
+lebih
+?
+indonesia
+anda
+a
+
+untuk
+menggunakan
+2
+i
+:
+,
+anda
+-
+an
+2
+dalam
+2
+2
+cara
+karena
+,
+online
+beberapa
+)
+3
+ada
+beberapa
+-
+memiliki
+dalam
+besar
+t
+u
+:
+sudah
+"
+yang
+ada
+juga
+dari
+untuk
+
+sangat
+online
+untuk
+bisa
+bisa
+itu
+dari
+online
+
+dengan
+di
+s
+saya
+sudah
+memiliki
+saya
+s
+dapat
+
+saya
+nya
+(
+orang
+memiliki
+permainan
+
+seperti
+di
+dari
+itu
+akan
+sebagai
+di
+slot
+bahwa
+untuk
+tersebut
+.
+i
+dapat
+saya
+an
+:
+d
+2
+1
+di
+saya
+s
+ke
+anda
+
+dan
+)
+bisa
+seperti
+lebih
+,
+beberapa
+akan
+4
+cara
+4
+lebih
+.
+kami
+cara
+banyak
+menjadi
+i
+hanya
+untuk
+dengan
+s
+0
+ada
+kita
+3
+0
+dalam
+i
+
+2
+hal
+hal
+harus
+juga
+bisa
+s
+dalam
+untuk
+tersebut
+kami
+kita
+oleh
+yang
+sangat
+2
+untuk
+,
+atau
+4
+sudah
+kamu
+itu
+karena
+akan
+.
+juga
+yang
+,
+anda
+banyak
+saja
+untuk
+nya
+2
+kan
+
+adalah
+i
+satu
+mereka
+
+yang
+nya
+tidak
+beberapa
+karena
+sudah
+ke
+.
+anda
+dalam
+5
+cara
+sebagai
+lebih
+8
+anda
+menggunakan
+e
+,
+
+sangat
+-
+adalah
+9
+.
+7
+9
+0
+ada
+"
+dapat
+banyak
+2
+9
+membuat
+akan
+,
+dengan
+oleh
+tersebut
+cara
+2
+cara
+hal
+secara
+anda
+
+karena
+mereka
+
+d
+.
+bisa
+dan
+akan
+
+permainan
+
+)
+6
+kamu
+akan
+itu
+nya
+mereka
+6
+t
+dan
+-
+mereka
+orang
+juga
+membuat
+
+permainan
+
+,
+e
+3
+a
+2
+sudah
+
+i
+itu
+memiliki
+uang
+adalah
+/
+online
+akan
+.
+di
+0
+jika
+satu
+
+ada
+dan
+hanya
+-
+bisa
+banyak
+s
+dalam
+hal
+u
+0
+yang
+
+i
+online
+(
+2
+(
+
+orang
+untuk
+
+juga
+8
+2
+e
+di
+lain
+memiliki
+
+secara
+adalah
+seperti
+judi
+akan
+situs
+untuk
+/
+satu
+nya
+s
+oleh
+banyak
+memiliki
+di
+
+salah
+lebih
+memiliki
+kamu
+ada
+dari
+nya
+satu
+dari
+9
+yang
+5
+memiliki
+t
+
+-
+permainan
+dapat
+5
+anda
+dan
+situs
+yang
+
+besar
+-
+yang
+0
+
+
+
+saat
+online
+besar
+sudah
+itu
+untuk
+dan
+dalam
+4
+untuk
+dengan
+8
+"
+online
+untuk
+menjadi
+pada
+bisa
+e
+atau
+karena
+satu
+
+online
+tidak
+ini
+sebagai
+bisa
+menjadi
+saya
+para
+karena
+)
+menjadi
+dan
+mereka
+slot
+0
+dan
+?
+saat
+oleh
+,
+akan
+baik
+online
+ke
+banyak
+atau
+lebih
+2
+
+2
+dan
+.
+lebih
+online
+di
+"
+s
+0
+3
+sangat
+3
+ini
+adalah
+yang
+1
+yang
+bahwa
+adalah
+online
+kan
+sangat
+banyak
+dan
+dan
+i
+anda
+permainan
+.
+di
+8
+yang
+)
+judi
+permainan
+e
+untuk
+0
+ini
+salah
+banyak
+
+
+)
+yang
+secara
+adalah
+ini
+sudah
+anda
+online
+k
+,
+ada
+di
+untuk
+i
+seperti
+e
+,
+yang
+:
+e
+"
+adalah
+e
+dapat
+bahwa
+akan
+dan
+?
+tersebut
+jika
+sudah
+e
+juga
+tidak
+e
+
+
+itu
+cara
+dan
+tidak
+kami
+juga
+dari
+
+atau
+
+1
+"
+
+
+mereka
+akan
+pada
+7
+dari
+
+jika
+pada
+kami
+sangat
+hanya
+akan
+orang
+salah
+dalam
+untuk
+"
+(
+8
+kami
+dengan
+membuat
+k
+pada
+dari
+indonesia
+
+:
+nya
+
+3
+yang
+menjadi
+i
+ada
+
+dengan
+besar
+sudah
+yang
+,
+:
+d
+dengan
+ada
+hanya
+untuk
+.
+.
+dari
+2
+dapat
+dengan
+bahwa
+bisa
+di
+seperti
+pada
+9
+lebih
+akan
+1
+tidak
+s
+pada
+
+memiliki
+5
+kan
+menjadi
+ini
+itu
+ini
+bahwa
+memiliki
+indonesia
+i
+
+
+
+untuk
+.
+?
+karena
+sangat
+,
+kita
+mereka
+-
+)
+
+beberapa
+i
+permainan
+dan
+itu
+.
+harus
+2
+nya
+.
+/
+bisa
+mereka
+yang
+3
+yang
+saya
+dengan
+karena
+8
+atau
+pada
+karena
+
+tidak
+/
+d
+4
+situs
+tidak
+dengan
+0
+permainan
+membuat
+-
+ini
+
+1
+yang
+dan
+yang
+e
+salah
+,
+poker
+dapat
+:
+saat
+0
+sebagai
+4
+situs
+cara
+kamu
+k
+(
+:
+di
+1
+online
+jika
+saya
+
+di
+seperti
+atau
+0
+,
+
+atau
+baik
+"
+untuk
+juga
+2
+5
+sangat
+oleh
+
+ada
+dengan
+karena
+pada
+ke
+yang
+anda
+indonesia
+0
+dan
+ini
+di
+lebih
+adalah
+1
+5
+.
+5
+dan
+kita
+:
+)
+3
+memiliki
+karena
+permainan
+2
+juga
+adalah
+menjadi
+menjadi
+4
+di
+karena
+ini
+mereka
+dari
+/
+atau
+)
+tidak
+yang
+menjadi
+orang
+ini
+pada
+saja
+atau
+bisa
+atau
+yang
+-
+online
+dalam
+karena
+lebih
+ini
+mereka
+dan
+bisa
+pada
+ini
+kami
+7
+
+tersebut
+5
+ini
+t
+bahwa
+anda
+0
+-
+pada
+:
+k
+dan
+pada
+e
+.
+tersebut
+dan
+juga
+orang
+kamu
+bahwa
+kita
+saja
+ada
+e
+mereka
+seperti
+harus
+ini
+dari
+dari
+kita
+dalam
+(
+.
+dari
+secara
+indonesia
+judi
+orang
+yang
+tersebut
+atau
+bahwa
+tersebut
+8
+atau
+
+sudah
+dan
+untuk
+-
+
+lebih
+orang
+akan
+,
+anda
+di
+adalah
+dalam
+(
+0
+untuk
+atau
+ini
+i
+-
+mereka
+satu
+d
+.
+anda
+3
+s
+ini
+adalah
+pada
+uang
+ini
+kami
+saat
+,
+dan
+adalah
+kita
+harus
+itu
+dan
+anda
+cara
+tidak
+permainan
+untuk
+dalam
+yang
+
+
+0
+sebagai
+ada
+k
+tidak
+menjadi
+dengan
+bisa
+)
+pemain
+.
+(
+dalam
+
+mereka
+:
+pada
+dan
+jika
+indonesia
+yang
+dengan
+e
+tersebut
+.
+bisa
+sudah
+8
+bisa
+secara
+?
+5
+
+0
+yang
+kamu
+akan
+itu
+cara
+0
+saja
+e
+karena
+juga
+1
+untuk
+2
+oleh
+
+membuat
+
+
+4
+k
+di
+adalah
+atau
+tidak
+-
+3
+pada
+lebih
+itu
+9
+tidak
+menggunakan
+/
+ke
+2
+kan
+8
+untuk
+dan
+kamu
+di
+jika
+akan
+yang
+di
+
+tersebut
+orang
+lebih
+(
+kita
+akan
+besar
+itu
+lebih
+dari
+untuk
+yang
+nya
+lebih
+jika
+ada
+bisa
+cara
+,
+2
+bisa
+dan
+akan
+2
+atau
+ini
+besar
+game
+karena
+untuk
+orang
+1
+sangat
+dan
+pemain
+2
+(
+di
+-
+menjadi
+1
+8
+.
+memiliki
+atau
+9
+1
+sangat
+dalam
+orang
+(
+saya
+lebih
+,
+tersebut
+yang
+dengan
+)
+4
+3
+sudah
+.
+dengan
+sangat
+
+di
+2
+ke
+pada
+pada
+
+saat
+5
+yang
+s
+(
+online
+situs
+akan
+5
+ada
+
+dari
+adalah
+kan
+a
+pada
+juga
+dari
+d
+karena
+saja
+dapat
+0
+"
+di
+saya
+satu
+mereka
+3
+situs
+:
+.
+7
+?
+/
+-
+anda
+akan
+
+saya
+s
+orang
+ini
+.
+dalam
+anda
+oleh
+yang
+
+yang
+untuk
+karena
+dari
+kita
+lebih
+)
+anda
+dari
+mereka
+dapat
+"
+dari
+karena
+judi
+0
+akan
+juga
+bisa
+saja
+online
+di
+an
+kita
+judi
+dengan
+dan
+lebih
+tersebut
+satu
+secara
+)
+.
+harus
+tidak
+saya
+
+k
+mereka
+satu
+juga
+
+.
+menggunakan
+semua
+banyak
+dan
+,
+0
+dari
+akan
+4
+sangat
+satu
+tersebut
+-
+-
+di
+dengan
+banyak
+ke
+cara
+dengan
+
+
+3
+dari
+
+1
+(
+cara
+dalam
+sudah
+cara
+dari
+memiliki
+dengan
+kami
+melakukan
+dengan
+,
+lebih
+tidak
+ke
+beberapa
+/
+pada
+
+tersebut
+jika
+sangat
+seperti
+yang
+itu
+harus
+
+,
+
+/
+1
+0
+0
+cara
+9
+dalam
+kita
+pada
+3
+4
+hal
+ke
+satu
+memiliki
+adalah
+di
+e
+:
+lebih
+banyak
+untuk
+bisa
+
+cara
+yang
+
+
+untuk
+anda
+
+5
+ini
+situs
+lebih
+
+orang
+
+anda
+4
+ini
+ke
+e
+-
+dengan
+
+nya
+akan
+
+2
+di
+saat
+tidak
+/
+8
+dapat
+3
+itu
+sudah
+/
+
+
+harus
+kamu
+4
+cara
+membuat
+,
+atau
+lebih
+dari
+atau
+saat
+4
+sebagai
+ini
+dengan
+.
+sudah
+
+situs
+dan
+
+baik
+i
+/
+dengan
+juga
+orang
+untuk
+an
+ke
+di
+untuk
+1
+dan
+permainan
+banyak
+,
+ini
+yang
+s
+0
+
+ada
+dan
+3
+,
+tidak
+nya
+kan
+cara
+dari
+seperti
+kita
+,
+permainan
+5
+hanya
+salah
+dengan
+satu
+i
+,
+
+sudah
+karena
+a
+mereka
+satu
+kamu
+tersebut
+permainan
+jika
+menjadi
+t
+atau
+an
+bahwa
+i
+seperti
+)
+pada
+t
+0
+bisa
+tidak
+situs
+beberapa
+lebih
+lebih
+sudah
+nya
+dalam
+
+satu
+hal
+-
+
+7
+)
+9
+orang
+dan
+hanya
+bagi
+ini
+harus
+anda
+online
+,
+7
+memiliki
+adalah
+situs
+tersebut
+nya
+bahwa
+anda
+di
+)
+orang
+
+
+
+karena
+tidak
+s
+pada
+8
+dalam
+sebagai
+)
+,
+ada
+s
+akan
+dan
+bisa
+0
+atau
+mereka
+
+
+sangat
+
+sudah
+banyak
+dalam
+tidak
+anda
+9
+s
+ini
+0
+nya
+ini
+bisa
+karena
+untuk
+juga
+1
+
+adalah
+bisa
+beberapa
+baik
+-
+tidak
+seperti
+lebih
+kita
+adalah
+orang
+
+dengan
+saat
+online
+pada
+dan
+ini
+untuk
+5
+saat
+indonesia
+online
+0
+an
+2
+bisa
+anda
+
+juga
+2
+atau
+nya
+akan
+pada
+di
+orang
+kan
+di
+dalam
+9
+namun
+kami
+yang
+
+4
+atau
+?
+tidak
+maka
+
+yang
+orang
+jika
+(
+kita
+hal
+kita
+ada
+/
+anda
+0
+nya
+saja
+karena
+hanya
+?
+.
+?
+dengan
+cara
+banyak
+8
+harus
+)
+dari
+a
+bahwa
+di
+
+satu
+
+,
+?
+ini
+
+ke
+karena
+.
+judi
+
+beberapa
+dapat
+karena
+
+
+(
+hal
+ini
+satu
+beberapa
+ada
+/
+an
+1
+orang
+3
+tidak
+
+sudah
+dengan
+cara
+sudah
+
+itu
+harus
+tersebut
+saya
+online
+harus
+bisa
+dan
+
+0
+3
+ke
+memiliki
+
+karena
+7
+u
+kan
+akan
+dengan
+satu
+,
+bisa
+9
+untuk
+tidak
+mereka
+juga
+,
+satu
+
+4
+atau
+)
+dengan
+dari
+saat
+karena
+lebih
+hanya
+satu
+
+sangat
+mereka
+sangat
+bisa
+menjadi
+8
+dari
+
+ke
+(
+yang
+0
+.
+atau
+4
+banyak
+8
+0
+2
+1
+anda
+tersebut
+ini
+jika
+dengan
+
+dari
+online
+pada
+ini
+ke
+0
+lebih
+di
+lebih
+tersebut
+3
+
+harus
+ini
+"
+semua
+s
+indonesia
+,
+bisa
+beberapa
+online
+anda
+secara
+tidak
+tersebut
+ini
+memiliki
+beberapa
+yang
+.
+saja
+8
+ini
+di
+di
+harus
+itu
+dengan
+indonesia
+tersebut
+0
+satu
+,
+/
+nya
+dan
+para
+membuat
+
+i
+.
+nya
+di
+tersebut
+dan
+secara
+2
+1
+kami
+online
+2
+2
+9
+s
+
+banyak
+untuk
+"
+nya
+s
+.
+itu
+saat
+ini
+cara
+dari
+bahwa
+dan
+dan
+kamu
+situs
+0
+dengan
+karena
+bermain
+bahwa
+2
+-
+harus
+
+k
+hanya
+anda
+jika
+juga
+lebih
+orang
+d
+yang
+.
+juga
+8
+juga
+untuk
+:
+)
+atau
+-
+kamu
+9
+bahwa
+?
+s
+tersebut
+online
+0
+lebih
+online
+saat
+2
+s
+u
+dari
+adalah
+untuk
+dengan
+dan
+online
+
+oleh
+
+saya
+indonesia
+cara
+lebih
+9
+lebih
+
+tidak
+satu
+nya
+kita
+an
+situs
+bisa
+indonesia
+saat
+ini
+ada
+hanya
+
+harus
+k
+bisa
+tersebut
+?
+
+bisa
+(
+pada
+ada
+ini
+dengan
+.
+akan
+2
+jika
+harus
+
+yang
+harus
+membuat
+bisa
+bahwa
+3
+akan
+hanya
+ini
+itu
+permainan
+sangat
+bisa
+permainan
+a
+an
+,
+3
+"
+dan
+tersebut
+
+
+?

predict_results.json

@@ -0,0 +1,12 @@
+{
+    "predict_gen_len": 1.0,
+    "predict_loss": 1.8067684173583984,
+    "predict_rouge1": 0.4506,
+    "predict_rouge2": 0.0,
+    "predict_rougeL": 0.4488,
+    "predict_rougeLsum": 0.4499,
+    "predict_runtime": 2141.4927,
+    "predict_samples": 3761,
+    "predict_samples_per_second": 1.756,
+    "predict_steps_per_second": 0.055
+}

train_results.json

@@ -0,0 +1,9 @@
+{
+    "epoch": 5.0,
+    "total_flos": 5.531847691862016e+16,
+    "train_loss": 2.801529929669983,
+    "train_runtime": 5646.3824,
+    "train_samples": 14266,
+    "train_samples_per_second": 12.633,
+    "train_steps_per_second": 0.79
+}

trainer_state.json

@@ -0,0 +1,130 @@
+{
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 5.0,
+  "eval_steps": 500,
+  "global_step": 4460,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 1.0,
+      "grad_norm": 0.8142107129096985,
+      "learning_rate": 0.0008,
+      "loss": 3.3525,
+      "step": 892
+    },
+    {
+      "epoch": 1.0,
+      "eval_gen_len": 1.0,
+      "eval_loss": 2.4645345211029053,
+      "eval_rouge1": 0.6739,
+      "eval_rouge2": 0.0,
+      "eval_rougeL": 0.6721,
+      "eval_rougeLsum": 0.6722,
+      "eval_runtime": 52.0826,
+      "eval_samples_per_second": 14.343,
+      "eval_steps_per_second": 0.461,
+      "step": 892
+    },
+    {
+      "epoch": 2.0,
+      "grad_norm": 0.7527865767478943,
+      "learning_rate": 0.0006,
+      "loss": 2.9432,
+      "step": 1784
+    },
+    {
+      "epoch": 2.0,
+      "eval_gen_len": 1.0,
+      "eval_loss": 2.228515625,
+      "eval_rouge1": 0.6712,
+      "eval_rouge2": 0.0,
+      "eval_rougeL": 0.6719,
+      "eval_rougeLsum": 0.672,
+      "eval_runtime": 54.6492,
+      "eval_samples_per_second": 13.669,
+      "eval_steps_per_second": 0.439,
+      "step": 1784
+    },
+    {
+      "epoch": 3.0,
+      "grad_norm": 0.7620196342468262,
+      "learning_rate": 0.0004,
+      "loss": 2.7301,
+      "step": 2676
+    },
+    {
+      "epoch": 3.0,
+      "eval_gen_len": 1.0,
+      "eval_loss": 2.000340223312378,
+      "eval_rouge1": 0.6833,
+      "eval_rouge2": 0.0,
+      "eval_rougeL": 0.6773,
+      "eval_rougeLsum": 0.6791,
+      "eval_runtime": 49.9831,
+      "eval_samples_per_second": 14.945,
+      "eval_steps_per_second": 0.48,
+      "step": 2676
+    },
+    {
+      "epoch": 4.0,
+      "grad_norm": 0.8655580878257751,
+      "learning_rate": 0.0002,
+      "loss": 2.5599,
+      "step": 3568
+    },
+    {
+      "epoch": 4.0,
+      "eval_gen_len": 1.0,
+      "eval_loss": 1.8546103239059448,
+      "eval_rouge1": 0.7278,
+      "eval_rouge2": 0.0,
+      "eval_rougeL": 0.7227,
+      "eval_rougeLsum": 0.7246,
+      "eval_runtime": 50.7437,
+      "eval_samples_per_second": 14.721,
+      "eval_steps_per_second": 0.473,
+      "step": 3568
+    },
+    {
+      "epoch": 5.0,
+      "grad_norm": 0.7443877458572388,
+      "learning_rate": 0.0,
+      "loss": 2.422,
+      "step": 4460
+    },
+    {
+      "epoch": 5.0,
+      "eval_gen_len": 1.0,
+      "eval_loss": 1.7829684019088745,
+      "eval_rouge1": 0.6862,
+      "eval_rouge2": 0.0,
+      "eval_rougeL": 0.6838,
+      "eval_rougeLsum": 0.6843,
+      "eval_runtime": 52.337,
+      "eval_samples_per_second": 14.273,
+      "eval_steps_per_second": 0.459,
+      "step": 4460
+    },
+    {
+      "epoch": 5.0,
+      "step": 4460,
+      "total_flos": 5.531847691862016e+16,
+      "train_loss": 2.801529929669983,
+      "train_runtime": 5646.3824,
+      "train_samples_per_second": 12.633,
+      "train_steps_per_second": 0.79
+    }
+  ],
+  "logging_steps": 500,
+  "max_steps": 4460,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 5,
+  "save_steps": 500,
+  "total_flos": 5.531847691862016e+16,
+  "train_batch_size": 16,
+  "trial_name": null,
+  "trial_params": null
+}