End of training

README.md

@@ -1,4 +1,6 @@
 ---
+language:
+- id
 license: apache-2.0
 base_model: LazarusNLP/IndoNanoT5-base
 tags:
@@ -18,10 +20,10 @@ should probably proofread and complete it, then remove this comment. -->
 This model is a fine-tuned version of [LazarusNLP/IndoNanoT5-base](https://huggingface.co/LazarusNLP/IndoNanoT5-base) on an unknown dataset.
 It achieves the following results on the evaluation set:
 - Loss: 0.6921
-- Rouge1: 0.5367
+- Rouge1: 0.4202
 - Rouge2: 0.0
-- Rougel: 0.5393
-- Rougelsum: 0.5356
+- Rougel: 0.4216
+- Rougelsum: 0.4188
 - Gen Len: 1.0
 
 ## Model description

all_results.json

@@ -0,0 +1,29 @@
+{
+    "epoch": 5.0,
+    "eval_gen_len": 1.0,
+    "eval_loss": 0.6921437382698059,
+    "eval_rouge1": 0.4202,
+    "eval_rouge2": 0.0,
+    "eval_rougeL": 0.4216,
+    "eval_rougeLsum": 0.4188,
+    "eval_runtime": 2120.9985,
+    "eval_samples": 750,
+    "eval_samples_per_second": 0.354,
+    "eval_steps_per_second": 0.011,
+    "predict_gen_len": 1.0,
+    "predict_loss": 0.7226430773735046,
+    "predict_rouge1": 0.4824,
+    "predict_rouge2": 0.0,
+    "predict_rougeL": 0.4833,
+    "predict_rougeLsum": 0.4824,
+    "predict_runtime": 10615.085,
+    "predict_samples": 3762,
+    "predict_samples_per_second": 0.354,
+    "predict_steps_per_second": 0.011,
+    "total_flos": 5.591093554778112e+16,
+    "train_loss": 1.4064704381831559,
+    "train_runtime": 6422.8288,
+    "train_samples": 14262,
+    "train_samples_per_second": 11.103,
+    "train_steps_per_second": 0.694
+}

eval_results.json

@@ -0,0 +1,13 @@
+{
+    "epoch": 5.0,
+    "eval_gen_len": 1.0,
+    "eval_loss": 0.6921437382698059,
+    "eval_rouge1": 0.4202,
+    "eval_rouge2": 0.0,
+    "eval_rougeL": 0.4216,
+    "eval_rougeLsum": 0.4188,
+    "eval_runtime": 2120.9985,
+    "eval_samples": 750,
+    "eval_samples_per_second": 0.354,
+    "eval_steps_per_second": 0.011
+}

generated_predictions.txt

@@ -0,0 +1,3762 @@
+akan
+.
+anda
+
+untuk
+2
+itu
+anda
+
+.
+
+0
+ini
+tentang
+di
+taruhan
+,
+sehingga
+
+
+
+dapat
+anda
+1
+tidak
+bisa
+2
+
+1
+ini
+bisa
+dengan
+.
+masih
+,
+0
+1
+1
+.
+bisa
+nya
+harga
+-
+yang
+dan
+
+,
+ini
+dalam
+masih
+.
+dari
+1
+memberikan
+taruhan
+yang
+
+juga
+
+dari
+di
+1
+mulai
+i
+
+
+
+.
+-
+
+
+tidak
+taruhan
+-
+setelah
+bisa
+dari
+
+untuk
+
+untuk
+
+
+
+akan
+
+,
+nya
+
+harga
+dengan
+,
+bisa
+sendiri
+
+bisa
+itu
+
+ada
+
+,
+a
+
+2
+
+
+”
+
+
+adalah
+i
+
+bisa
+
+
+
+dengan
+bisa
+
+masih
+
+i
+harga
+
+dengan
+dengan
+.
+
+anda
+yang
+
+dengan
+untuk
+ini
+1
+untuk
+ini
+2
+2
+berbagai
+ini
+,
+adalah
+nya
+
+,
+itu
+mendapatkan
+,
+juga
+akan
+akan
+untuk
+nya
+
+akan
+,
+pada
+harga
+bisa
+2
+tidak
+0
+2
+dengan
+0
+aplikasi
+ini
+
+harga
+
+
+,
+
+sendiri
+,
+,
+.
+berbagai
+agar
+
+tips
+.
+”
+
+yang
+
+ini
+tidak
+
+untuk
+,
+2
+sendiri
+tidak
+mendapatkan
+
+2
+.
+
+sendiri
+
+,
+tentang
+
+untuk
+yang
+berbagai
+dengan
+sehingga
+nya
+nya
+saat
+
+tentang
+dalam
+di
+2
+
+.
+
+g
+untuk
+.
+0
+harga
+.
+
+
+
+2
+
+dari
+0
+yang
+.
+nya
+dengan
+yang
+yang
+tidak
+tak
+masih
+nya
+yang
+bahkan
+2
+
+2
+
+.
+0
+itu
+
+
+
+,
+,
+.
+pada
+.
+.
+,
+yang
+1
+di
+
+bisa
+2
+dan
+dari
+perlu
+.
+,
+,
+0
+anda
+.
+saja
+bisa
+untuk
+-
+itu
+lagi
+1
+
+
+di
+dari
+,
+2
+
+akan
+
+1
+
+tidak
+
+ini
+dan
+yang
+dari
+
+akan
+s
+dengan
+untuk
+
+.
+dalam
+
+mendapatkan
+anda
+nya
+anda
+juga
+-
+.
+juga
+1
+u
+
+anda
+
+untuk
+.
+dari
+adalah
+pada
+,
+bisa
+.
+ada
+waktu
+adalah
+di
+1
+.
+merupakan
+nya
+dengan
+tidak
+
+
+yang
+dalam
+dalam
+anda
+dari
+dengan
+
+dengan
+.
+-
+pada
+i
+2
+itu
+yang
+2
+.
+
+.
+lagi
+
+sehingga
+dengan
+ketika
+.
+
+ini
+
+itu
+1
+harga
+2
+1
+untuk
+ketika
+
+dan
+-
+,
+-
+.
+0
+.
+pada
+dengan
+2
+di
+masih
+dan
+tetapi
+dari
+itu
+dengan
+
+dengan
+
+setelah
+pada
+nya
+
+dengan
+,
+0
+nya
+bagaimana
+tentang
+
+
+1
+.
+ini
+.
+masih
+pada
+masih
+anda
+-
+tidak
+-
+,
+
+
+juga
+bisa
+nya
+lalu
+-
+akan
+anda
+masih
+dengan
+tidak
+
+anda
+
+dengan
+dalam
+
+,
+dengan
+
+2
+
+
+anda
+-
+aplikasi
+2
+
+1
+b
+
+akan
+dari
+akan
+
+tidak
+harga
+dalam
+
+cukup
+
+.
+juga
+.
+anda
+
+0
+-
+
+
+dari
+yang
+ini
+
+
+produk
+
+.
+ini
+hari
+-
+
+bonus
+0
+dalam
+tidak
+
+0
+akan
+,
+anda
+
+di
+mungkin
+ini
+.
+1
+,
+untuk
+0
+yang
+nya
+
+-
+ini
+
+
+1
+untuk
+ketika
+adalah
+ini
+anda
+
+sebuah
+
+dengan
+nya
+pada
+
+harga
+ini
+
+
+yang
+2
+
+lagi
+juga
+ini
+.
+yang
+2
+
+
+juga
+0
+di
+2
+
+.
+adalah
+
+
+1
+ini
+taruhan
+tentang
+
+anda
+di
+2
+
+ada
+
+.
+untuk
+dari
+
+dan
+di
+ini
+0
+produk
+
+untuk
+-
+bisa
+nya
+untuk
+1
+ini
+di
+tidak
+yang
+sehingga
+juga
+juga
+2
+aplikasi
+
+ini
+2
+ini
+-
+
+
+2
+nya
+
+harga
+
+.
+sendiri
+1
+2
+1
+dari
+
+untuk
+.
+
+nya
+.
+dan
+akan
+
+untuk
+anda
+dalam
+
+
+
+anda
+
+yang
+-
+,
+dengan
+harga
+sehingga
+
+tidak
+masih
+.
+
+berbagai
+
+,
+merupakan
+
+
+-
+0
+,
+akan
+merupakan
+terpercaya
+
+anda
+produk
+nya
+
+,
+
+tentang
+hari
+1
+dengan
+masih
+dalam
+anda
+agar
+di
+
+
+sebagian
+1
+s
+
+
+
+
+
+1
+
+dengan
+ini
+,
+
+akan
+,
+merupakan
+2
+2
+akan
+nya
+dapat
+nya
+harga
+1
+-
+di
+sama
+1
+rumah
+nya
+1
+sendiri
+2
+dengan
+bisa
+
+tidak
+dari
+
+
+
+2
+ini
+
+
+akan
+
+pada
+kasino
+
+merupakan
+nya
+.
+,
+.
+tidak
+.
+
+,
+yang
+nya
+untuk
+
+ini
+bisa
+bisa
+dengan
+lagi
+merupakan
+0
+perlu
+dengan
+“
+bisa
+trading
+dari
+1
+di
+dan
+1
+
+
+bisa
+,
+tentang
+i
+,
+
+dalam
+juga
+s
+perlu
+1
+ini
+0
+akan
+
+
+1
+anda
+
+dengan
+dengan
+sama
+nya
+untuk
+
+,
+.
+tentang
+bisa
+nya
+tentang
+ini
+
+ini
+anda
+dengan
+.
+
+dan
+
+tentang
+k
+ketika
+dengan
+atau
+
+ini
+setelah
+dari
+,
+-
+
+
+,
+.
+adalah
+dengan
+,
+i
+.
+“
+i
+.
+
+tentang
+
+-
+di
+2
+dalam
+dengan
+,
+akan
+2
+
+1
+0
+,
+0
+anda
+0
+dalam
+.
+.
+adalah
+dan
+,
+2
+,
+perlu
+dengan
+,
+
+dari
+
+dalam
+yang
+bisa
+,
+2
+pada
+tidak
+
+masih
+0
+,
+
+0
+“
+(
+
+anda
+di
+pada
+
+anda
+dia
+bisa
+anda
+.
+2
+yang
+1
+
+0
+memberikan
+yang
+yang
+.
+yang
+dari
+untuk
+
+online
+lama
+
+anda
+adalah
+ketika
+dengan
+2
+perlu
+0
+
+dan
+.
+akan
+untuk
+untuk
+
+0
+akan
+.
+,
+ini
+ini
+.
+dengan
+0
+
+ini
+
+tidak
+harga
+harga
+2
+
+dari
+dengan
+juga
+dan
+.
+yang
+
+
+.
+dari
+
+yang
+
+.
+i
+,
+untuk
+,
+harga
+,
+masih
+dari
+nya
+.
+.
+ini
+
+anda
+nya
+ini
+tidak
+akan
+
+
+dan
+bisa
+anda
+2
+sendiri
+
+dengan
+adalah
+,
+dari
+
+dalam
+di
+0
+.
+“
+
+
+
+dan
+akan
+tidak
+akan
+untuk
+ini
+1
+akan
+,
+s
+cukup
+
+2
+
+
+dan
+,
+.
+dari
+,
+pada
+
+
+merupakan
+
+dengan
+2
+anda
+ini
+ketika
+dan
+untuk
+pada
+di
+,
+hari
+dengan
+
+untuk
+.
+
+i
+.
+,
+ini
+
+,
+-
+
+
+dari
+itu
+dari
+
+di
+berbagai
+
+
+
+
+tidak
+
+untuk
+1
+
+
+dalam
+ini
+ini
+.
+.
+
+1
+,
+
+yang
+dari
+itu
+r
+
+.
+setelah
+atau
+anda
+
+
+dengan
+adalah
+2
+anda
+
+akan
+
+dengan
+-
+nya
+ini
+nya
+bisa
+
+
+,
+nya
+m
+tidak
+-
+dengan
+rumah
+yang
+
+ini
+nya
+ini
+
+terbaik
+
+0
+
+sendiri
+,
+perlu
+web
+
+nya
+dan
+1
+untuk
+bisa
+masih
+
+dengan
+untuk
+
+,
+.
+adalah
+anda
+nya
+ini
+itu
+.
+dalam
+pada
+
+
+
+bisa
+dari
+
+di
+di
+
+,
+bisa
+anda
+dari
+-
+untuk
+2
+di
+di
+-
+anda
+
+
+
+
+0
+
+1
+itu
+
+.
+
+
+itu
+untuk
+tentang
+bisa
+
+1
+
+
+akan
+adalah
+1
+atau
+nya
+adalah
+
+dalam
+nya
+dari
+anda
+cukup
+,
+i
+
+pada
+dan
+dengan
+g
+bisa
+,
+,
+ini
+anda
+
+.
+ketika
+0
+ini
+
+yang
+
+anda
+1
+dengan
+0
+akan
+-
+adalah
+1
+s
+perlu
+adalah
+adalah
+
+2
+,
+
+2
+yang
+taruhan
+bisa
+
+.
+0
+untuk
+ini
+tidak
+dengan
+juga
+harga
+
+anda
+0
+ada
+
+sehingga
+masih
+“
+0
+dan
+bisa
+-
+0
+
+
+yang
+untuk
+
+dan
+perlu
+
+anda
+nya
+,
+perlu
+ketika
+bisa
+dan
+.
+0
+ini
+1
+
+dengan
+2
+lagi
+,
+dengan
+ini
+.
+dengan
+anda
+itu
+-
+
+,
+
+
+perlu
+waktu
+0
+di
+anda
+ini
+.
+1
+bisa
+
+akan
+dengan
+
+
+tidak
+1
+merupakan
+dalam
+-
+yang
+
+dengan
+1
+dalam
+yang
+“
+.
+
+dengan
+anda
+ini
+dalam
+.
+lagi
+anda
+sama
+
+itu
+0
+0
+yang
+untuk
+2
+,
+2
+
+ini
+pada
+masih
+dengan
+
+itu
+setelah
+
+produk
+
+
+
+
+
+dan
+sebuah
+.
+
+-
+
+dan
+i
+tidak
+masih
+
+pada
+
+di
+0
+
+atau
+ini
+2
+bisa
+1
+dalam
+yang
+untuk
+.
+
+0
+sampai
+anda
+nya
+taruhan
+anda
+dan
+dan
+1
+anda
+ini
+akan
+ada
+ini
+nya
+pada
+dalam
+-
+
+
+-
+
+yang
+-
+
+
+dari
+anda
+anda
+-
+adalah
+dari
+tentang
+masih
+ini
+,
+di
+nya
+harga
+2
+anda
+ini
+yang
+
+0
+tidak
+anda
+nya
+yang
+1
+s
+“
+1
+2
+di
+anda
+anda
+.
+
+,
+anda
+dengan
+di
+ini
+akan
+.
+nya
+-
+,
+dari
+untuk
+sebuah
+akan
+
+.
+yang
+terlihat
+yang
+bisa
+.
+perlu
+1
+akan
+.
+bisa
+.
+tentang
+sebuah
+
+pada
+0
+harga
+.
+anda
+dari
+
+
+tidak
+,
+
+2
+dan
+0
+1
+
+untuk
+anda
+anda
+bisa
+,
+,
+adalah
+nya
+,
+memilih
+
+juga
+digunakan
+dalam
+waktu
+-
+bisa
+
+anda
+cukup
+
+tidak
+2
+ini
+
+ini
+pada
+bisa
+,
+atau
+.
+
+dari
+.
+-
+
+.
+
+sendiri
+yang
+yang
+untuk
+1
+1
+nya
+,
+pada
+pada
+
+
+dalam
+2
+tentang
+yang
+untuk
+perlu
+.
+2
+2
+dengan
+dengan
+taruhan
+dan
+-
+ketika
+itu
+nya
+.
+akan
+“
+.
+dengan
+anda
+
+anda
+tidak
+1
+yang
+dalam
+0
+.
+bisa
+.
+hari
+sama
+dari
+dan
+
+masih
+
+1
+0
+ini
+1
+,
+lagi
+anda
+dari
+,
+akan
+dan
+.
+.
+ini
+1
+
+tentang
+-
+
+1
+pada
+0
+dengan
+ini
+
+dan
+ini
+
+
+dalam
+adalah
+berbagai
+k
+yang
+yang
+.
+2
+anda
+nya
+
+,
+nya
+dengan
+
+anda
+tetapi
+untuk
+bola
+dengan
+sebuah
+i
+
+.
+dia
+
+dalam
+dari
+-
+1
+perlu
+.
+akan
+dan
+0
+0
+untuk
+
+bisa
+-
+bisa
+,
+l
+adalah
+dari
+.
+2
+
+.
+1
+dan
+perlu
+
+
+-
+
+-
+0
+dengan
+
+dari
+
+
+bisa
+.
+
+nya
+
+-
+dari
+atau
+1
+dari
+dia
+akan
+dari
+ini
+dari
+0
+ini
+
+
+anda
+-
+dengan
+sendiri
+0
+yang
+tidak
+2
+1
+di
+ini
+dari
+dari
+yang
+,
+,
+anda
+nya
+i
+.
+anda
+di
+setelah
+1
+sistem
+,
+
+anda
+dengan
+
+dengan
+anda
+nya
+nya
+
+untuk
+tidak
+,
+sehingga
+ini
+,
+nya
+.
+tempat
+dari
+dalam
+
+masih
+,
+sama
+2
+ini
+dalam
+
+2
+1
+akan
+anda
+nya
+itu
+
+0
+anda
+2
+
+bisa
+dan
+.
+dan
+
+
+bisa
+“
+.
+,
+
+
+0
+.
+tahun
+1
+,
+.
+
+0
+2
+bisa
+
+
+anda
+tentang
+
+harga
+anda
+1
+
+g
+2
+masih
+
+.
+di
+dan
+
+dengan
+
+
+dalam
+h
+1
+
+anda
+.
+bisa
+dari
+.
+2
+.
+nya
+berbagai
+dan
+dari
+,
+tidak
+akan
+1
+
+akan
+.
+
+anda
+adalah
+-
+untuk
+
+taruhan
+1
+anda
+bisa
+
+yang
+
+waktu
+
+memberikan
+tim
+.
+i
+akan
+bisa
+
+
+juga
+-
+,
+o
+,
+dari
+-
+dengan
+bisa
+dengan
+
+bisa
+i
+,
+nya
+1
+.
+
+adalah
+g
+l
+adalah
+1
+ini
+bisa
+untuk
+dan
+ketika
+yang
+0
+dalam
+anda
+ketika
+masih
+ini
+dapat
+
+dengan
+
+p
+
+taruhan
+perlu
+forex
+ketika
+dengan
+“
+
+adalah
+
+anda
+.
+apa
+0
+2
+
+berbagai
+akan
+,
+bisa
+0
+bisa
+0
+nya
+
+dalam
+ini
+,
+dengan
+dari
+.
+dari
+itu
+1
+lagi
+nya
+bisa
+agar
+harga
+
+.
+taruhan
+dan
+
+tetapi
+sebuah
+
+.
+ini
+
+
+anda
+
+untuk
+trading
+2
+menggunakan
+-
+dia
+bisa
+masih
+sebelum
+bisa
+
+yang
+
+yang
+.
+.
+sebuah
+dalam
+ini
+dengan
+1
+nya
+–
+ini
+itu
+lagi
+.
+taruhan
+ini
+
+
+dan
+2
+akan
+di
+tidak
+d
+.
+-
+bisa
+itu
+,
+akan
+itu
+adalah
+-
+,
+dengan
+untuk
+.
+dalam
+
+-
+
+untuk
+itu
+dari
+juga
+i
+1
+dia
+ada
+-
+akan
+
+.
+2
+ketika
+
+-
+1
+-
+ketika
+
+.
+sesuai
+tubuh
+
+
+.
+dari
+9
+rumah
+merupakan
+dengan
+masih
+di
+dengan
+itu
+ini
+perlu
+.
+perlu
+di
+nya
+dengan
+,
+
+i
+itu
+.
+0
+dengan
+
+,
+ada
+tidak
+bisa
+
+dan
+yang
+
+dengan
+dan
+ini
+
+untuk
+masih
+sekarang
+dalam
+atau
+ini
+
+dengan
+dengan
+-
+ini
+dari
+bagi
+,
+untuk
+dalam
+yang
+2
+pada
+
+ini
+ketika
+
+dengan
+1
+juga
+,
+anda
+,
+ini
+dari
+juga
+1
+adalah
+2
+hari
+sehingga
+
+adalah
+tidak
+trading
+dan
+yang
+
+untuk
+perlu
+yang
+bisa
+yang
+ini
+adalah
+dengan
+,
+di
+1
+
+0
+1
+anda
+akan
+setelah
+dari
+-
+
+poker
+0
+tidak
+.
+2
+akan
+0
+dengan
+yang
+dan
+nya
+dalam
+0
+dengan
+terbaik
+,
+adalah
+
+
+dengan
+0
+harga
+.
+.
+yang
+di
+setiap
+-
+,
+.
+anda
+nya
+pada
+masih
+yang
+dapat
+yang
+pada
+
+dengan
+
+1
+
+lebih
+
+
+-
+ini
+pada
+
+ini
+.
+,
+,
+
+.
+nya
+-
+s
+
+
+0
+dengan
+
+ini
+
+anda
+2
+.
+hari
+0
+,
+anda
+
+akan
+
+
+0
+di
+2
+taruhan
+,
+nya
+
+.
+
+1
+itu
+g
+anda
+
+harga
+ketika
+nya
+0
+,
+nya
+akan
+
+waktu
+,
+
+masih
+bisa
+pada
+lagi
+tidak
+
+2
+
+yang
+untuk
+
+,
+.
+dan
+.
+untuk
+.
+akan
+
+dari
+untuk
+dari
+
+“
+1
+tidak
+tidak
+-
+lainnya
+
+dari
+tak
+.
+anda
+dia
+
+1
+perlu
+
+
+
+yang
+produk
+memberikan
+
+untuk
+
+
+,
+0
+2
+
+nya
+
+untuk
+0
+
+
+dari
+0
+anda
+dengan
+,
+.
+ini
+0
+masih
+nya
+dalam
+-
+anda
+setelah
+-
+akan
+harga
+pada
+juga
+trading
+tidak
+
+dalam
+perlu
+
+1
+
+agar
+dengan
+dengan
+
+0
+yang
+dari
+-
+.
+
+yang
+
+masih
+untuk
+anda
+ini
+0
+.
+-
+dan
+
+bisa
+
+
+.
+
+yang
+yang
+bisa
+atas
+untuk
+dari
+nya
+lagi
+dari
+dari
+anda
+
+”
+bisa
+ada
+0
+itu
+,
+bisa
+,
+sebuah
+dengan
+-
+untuk
+,
+2
+dari
+sendiri
+tidak
+di
+
+
+akan
+
+di
+anda
+anda
+.
+
+
+yang
+
+
+
+harga
+,
+,
+
+ini
+
+paling
+tidak
+,
+
+aku
+,
+.
+0
+dengan
+nya
+nya
+,
+untuk
+.
+2
+aplikasi
+
+yang
+
+bisa
+.
+,
+
+
+
+lalu
+diri
+tetapi
+
+
+sehingga
+
+dalam
+dengan
+nya
+-
+
+yang
+
+dengan
+
+-
+bisa
+.
+perlu
+
+
+
+tidak
+tidak
+
+masih
+nya
+ini
+anda
+tidak
+perlu
+jenis
+ini
+dan
+2
+anda
+yang
+0
+
+
+sendiri
+sendiri
+
+
+bisa
+,
+untuk
+anda
+akan
+
+
+pun
+dalam
+adalah
+masih
+1
+
+1
+untuk
+,
+anda
+s
+,
+tidak
+masih
+yang
+itu
+“
+.
+itu
+
+bisa
+ini
+
+
+produk
+bisa
+waktu
+adalah
+.
+,
+memberikan
+.
+.
+sama
+lainnya
+,
+
+anda
+
+nya
+,
+
+dari
+
+anda
+
+anda
+
+dalam
+
+ini
+setelah
+akan
+,
+dengan
+dalam
+1
+anda
+
+taruhan
+0
+
+
+hari
+,
+
+perlu
+-
+trading
+juga
+di
+sendiri
+2
+harga
+di
+bisa
+dalam
+,
+,
+
+juga
+dengan
+2
+dengan
+adalah
+2
+
+dari
+untuk
+
+dalam
+anda
+,
+dengan
+
+yang
+,
+
+dari
+akan
+akan
+itu
+
+waktu
+2
+
+
+taruhan
+dengan
+,
+nya
+nya
+dengan
+dari
+perlu
+adalah
+,
+yang
+
+
+yang
+nya
+0
+atau
+0
+dia
+berbagai
+
+0
+)
+
+-
+rumah
+juga
+yang
+dia
+.
+tetapi
+dengan
+harga
+
+dari
+2
+akan
+tidak
+nya
+belum
+semua
+.
+tidak
+itu
+
+0
+
+ketika
+anda
+nya
+,
+anda
+
+bisa
+-
+anda
+dengan
+2
+ini
+untuk
+l
+memberikan
+dan
+
+dalam
+dari
+
+juga
+
+dia
+anda
+tapi
+dan
+bisa
+1
+
+
+pada
+1
+ini
+dengan
+di
+akan
+dia
+dengan
+yang
+akan
+nya
+merupakan
+
+
+-
+,
+
+dari
+atau
+i
+yang
+
+dengan
+anda
+
+,
+merupakan
+2
+ini
+akan
+dari
+tidak
+anda
+
+yang
+,
+dengan
+-
+,
+.
+untuk
+nya
+berbagai
+akan
+juga
+ini
+
+anda
+
+0
+akan
+dari
+ketika
+.
+adalah
+juga
+dengan
+
+.
+akan
+
+
+
+di
+lainnya
+1
+.
+dalam
+ini
+1
+.
+f
+dengan
+berbagai
+
+
+untuk
+dari
+itu
+,
+,
+
+sehingga
+1
+
+nya
+
+
+masih
+1
+bisa
+di
+0
+ini
+ini
+0
+2
+
+anda
+.
+nya
+adalah
+tentang
+di
+l
+yang
+atau
+anda
+dan
+0
+-
+dan
+nya
+atau
+untuk
+pada
+bisa
+lagi
+dalam
+0
+bisa
+ini
+.
+dari
+
+dari
+.
+2
+
+akan
+.
+dengan
+yang
+,
+ketika
+anda
+bisa
+”
+,
+nya
+-
+-
+nya
+
+0
+
+,
+2
+s
+2
+.
+dengan
+0
+
+dan
+anda
+masih
+-
+
+
+masih
+dengan
+untuk
+akan
+2
+dengan
+dengan
+yang
+tidak
+
+berbagai
+1
+anda
+dengan
+,
+“
+ini
+anda
+,
+perlu
+akan
+yang
+nya
+-
+
+1
+.
+bonus
+.
+
+,
+
+jumlah
+.
+nya
+
+lainnya
+i
+tidak
+taruhan
+yang
+-
+ketika
+atau
+
+bisa
+nya
+dalam
+1
+
+0
+perlu
+
+anda
+nya
+-
+dalam
+
+.
+
+anda
+yang
+tidak
+untuk
+
+,
+dari
+hari
+dengan
+dan
+anda
+-
+
+dia
+
+masih
+-
+,
+8
+untuk
+dalam
+.
+g
+
+perlu
+
+yang
+di
+pada
+dengan
+tentang
+,
+ini
+bisa
+,
+-
+
+tidak
+dia
+untuk
+nya
+-
+
+pada
+1
+bisa
+2
+
+merupakan
+pada
+lalu
+masih
+-
+dengan
+.
+,
+akan
+anda
+agar
+
+yang
+perlu
+kecil
+,
+mendapatkan
+nya
+
+1
+untuk
+2
+tentang
+adalah
+dengan
+akan
+dari
+,
+dalam
+adalah
+anda
+i
+dengan
+
+dalam
+0
+dengan
+juga
+setelah
+
+yang
+
+
+nya
+hasil
+
+dengan
+nya
+yang
+0
+
+
+akan
+,
+s
+2
+untuk
+terlebih
+anda
+2
+.
+2
+1
+taruhan
+2
+dari
+sama
+
+.
+dengan
+
+untuk
+
+dan
+
+untuk
+tentang
+dari
+dalam
+dari
+itu
+
+
+ini
+nya
+1
+
+.
+dengan
+dengan
+“
+,
+1
+ketika
+
+,
+
+anda
+nya
+0
+setelah
+2
+bisa
+
+
+anda
+-
+judi
+anda
+.
+yang
+ingin
+yang
+
+-
+memberikan
+
+ini
+anda
+tidak
+
+dan
+tidak
+2
+1
+
+harga
+
+dengan
+s
+
+1
+2
+,
+rumah
+-
+,
+
+di
+memberikan
+
+nya
+atau
+bisa
+,
+nya
+bisa
+-
+bisa
+dalam
+anda
+g
+dalam
+-
+
+dengan
+dan
+anda
+0
+dari
+
+
+.
+bisa
+anda
+
+dalam
+
+
+masih
+-
+,
+anda
+memberikan
+tidak
+
+-
+dan
+perlu
+anda
+
+
+untuk
+di
+dia
+
+masih
+ini
+nya
+tidak
+2
+tidak
+
+taruhan
+juga
+tidak
+hingga
+sendiri
+yang
+akan
+anda
+jenis
+memberikan
+.
+dengan
+
+akan
+,
+
+0
+dengan
+
+.
+
+pada
+dengan
+2
+dalam
+anda
+ini
+
+ini
+
+tidak
+dengan
+,
+ini
+2
+dari
+-
+untuk
+dari
+
+1
+-
+
+
+anda
+.
+1
+
+nya
+ini
+-
+,
+-
+akan
+ini
+
+bisa
+dari
+perlu
+
+
+pada
+dalam
+
+dengan
+anda
+adalah
+pun
+.
+,
+,
+nya
+
+bahwa
+dengan
+
+
+dengan
+yang
+ini
+sebuah
+.
+r
+dalam
+2
+
+0
+
+akan
+dan
+ada
+
+ini
+
+ini
+,
+dalam
+,
+nya
+pada
+.
+.
+
+sehingga
+tidak
+di
+dengan
+,
+nya
+ini
+
+.
+anda
+
+dalam
+dia
+juga
+
+1
+pada
+dan
+masih
+anda
+“
+2
+ketika
+anda
+
+anda
+,
+ini
+
+
+
+
+dan
+juga
+tidak
+
+pada
+aplikasi
+bisa
+dengan
+di
+tidak
+nya
+bisa
+
+0
+taruhan
+tidak
+,
+“
+hari
+dari
+
+anda
+dari
+
+1
+-
+bagaimana
+
+dengan
+
+dengan
+dan
+nya
+
+-
+untuk
+
+waktu
+adalah
+“
+1
+1
+
+perlu
+nya
+-
+
+dan
+adalah
+di
+
+.
+anda
+nya
+
+dan
+bisa
+
+bisa
+untuk
+,
+yang
+-
+sehingga
+2
+ini
+ini
+bisa
+
+perlu
+-
+-
+
+anda
+dari
+yang
+pada
+ini
+lagi
+dari
+
+-
+dalam
+
+hari
+online
+dengan
+1
+untuk
+akan
+
+
+
+di
+ini
+.
+,
+
+dengan
+tetapi
+dan
+memberikan
+di
+harga
+untuk
+pria
+di
+ini
+juga
+
+
+
+tidak
+,
+dengan
+1
+.
+adalah
+.
+nya
+,
+
+
+ini
+ada
+1
+hari
+anda
+
+dari
+akan
+akan
+
+adalah
+,
+,
+
+i
+taruhan
+,
+trading
+,
+anda
+merupakan
+nya
+dengan
+,
+i
+pada
+ini
+
+
+ada
+pada
+0
+ini
+tidak
+-
+-
+2
+
+untuk
+akan
+atau
+masih
+.
+akan
+atau
+akan
+.
+dengan
+tetapi
+.
+0
+0
+game
+tidak
+bisa
+-
+sekali
+2
+0
+ini
+,
+.
+dari
+bisa
+besar
+2
+,
+
+
+memberikan
+di
+juga
+1
+akan
+masih
+,
+ini
+ketika
+,
+ini
+dengan
+sebuah
+g
+berbagai
+
+di
+perlu
+2
+.
+,
+.
+0
+ini
+
+ke
+dengan
+bisa
+
+s
+1
+dan
+,
+aplikasi
+
+
+yang
+sebuah
+ketika
+nya
+harga
+perlu
+ini
+,
+atau
+.
+2
+0
+
+
+0
+
+trading
+
+tentang
+
+itu
+tidak
+2
+ini
+ini
+dan
+
+
+dengan
+anda
+,
+nya
+
+dari
+
+,
+tidak
+tidak
+atau
+-
+untuk
+1
+bisa
+,
+
+dengan
+
+sebuah
+bisa
+perlu
+2
+sebuah
+sama
+adalah
+dari
+.
+dalam
+tidak
+0
+
+-
+2
+lebih
+ini
+-
+1
+bisa
+bisa
+.
+adalah
+!
+harga
+untuk
+-
+dan
+bisa
+perlu
+dengan
+dari
+dari
+untuk
+ini
+
+2
+sebuah
+
+yang
+dalam
+1
+anda
+yang
+,
+dari
+.
+untuk
+0
+tetapi
+1
+mengalami
+
+perlu
+pada
+tidak
+taruhan
+2
+.
+
+2
+untuk
+dia
+tidak
+untuk
+,
+dalam
+dan
+
+.
+tidak
+2
+dengan
+-
+untuk
+akan
+.
+
+dari
+di
+ketika
+
+anda
+dari
+
+,
+yang
+0
+dengan
+1
+
+setelah
+bisa
+pada
+strategi
+anda
+merupakan
+bisa
+
+
+dari
+yang
+
+anda
+agar
+bisa
+-
+
+bisa
+tentang
+dari
+-
+harga
+akan
+
+dengan
+
+,
+hari
+
+
+bisa
+,
+taruhan
+di
+.
+
+dengan
+
+dari
+dengan
+
+nya
+2
+dari
+2
+tidak
+
+dan
+0
+untuk
+
+
+
+bisa
+
+nya
+dari
+adalah
+1
+setelah
+anda
+2
+-
+,
+
+nya
+0
+-
+
+
+bisa
+untuk
+anda
+yang
+dengan
+.
+bisa
+1
+,
+tidak
+untuk
+.
+dari
+anda
+pada
+baru
+nya
+0
+lagi
+untuk
+
+nya
+
+
+dan
+dari
+dalam
+untuk
+-
+
+
+dari
+1
+2
+dia
+bisnis
+untuk
+0
+adalah
+
+bisa
+.
+–
+adalah
+i
+1
+masih
+
+bisa
+
+i
+produk
+ini
+,
+
+dari
+hari
+merupakan
+-
+dengan
+dari
+tidak
+1
+masih
+itu
+dengan
+,
+dari
+.
+anda
+itu
+0
+nya
+dalam
+
+
+1
+
+.
+2
+
+dalam
+2
+
+perlu
+perlu
+dalam
+2
+,
+1
+nya
+atau
+,
+1
+di
+
+anda
+i
+nya
+dengan
+
+1
+
+dalam
+itu
+nya
+
+dengan
+untuk
+ini
+ketika
+.
+aplikasi
+
+1
+harga
+ini
+ini
+
+lainnya
+atau
+,
+1
+
+.
+-
+tapi
+2
+,
+yang
+s
+di
+deposit

predict_results.json

@@ -0,0 +1,12 @@
+{
+    "predict_gen_len": 1.0,
+    "predict_loss": 0.7226430773735046,
+    "predict_rouge1": 0.4824,
+    "predict_rouge2": 0.0,
+    "predict_rougeL": 0.4833,
+    "predict_rougeLsum": 0.4824,
+    "predict_runtime": 10615.085,
+    "predict_samples": 3762,
+    "predict_samples_per_second": 0.354,
+    "predict_steps_per_second": 0.011
+}

runs/Jul06_20-02-43_a94680512e46/events.out.tfevents.1720304733.a94680512e46.1632364.1

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c30b3c19aa39bd7e10db916e9b9d72e5b882154ccde60f84fa8a81d87894902e
+size 613

train_results.json

@@ -0,0 +1,9 @@
+{
+    "epoch": 5.0,
+    "total_flos": 5.591093554778112e+16,
+    "train_loss": 1.4064704381831559,
+    "train_runtime": 6422.8288,
+    "train_samples": 14262,
+    "train_samples_per_second": 11.103,
+    "train_steps_per_second": 0.694
+}

trainer_state.json

@@ -0,0 +1,130 @@
+{
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 5.0,
+  "eval_steps": 500,
+  "global_step": 4460,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 1.0,
+      "grad_norm": 1.8557857275009155,
+      "learning_rate": 0.0008,
+      "loss": 2.4132,
+      "step": 892
+    },
+    {
+      "epoch": 1.0,
+      "eval_gen_len": 1.0,
+      "eval_loss": 1.2386975288391113,
+      "eval_rouge1": 0.5009,
+      "eval_rouge2": 0.0,
+      "eval_rougeL": 0.5,
+      "eval_rougeLsum": 0.5041,
+      "eval_runtime": 59.5827,
+      "eval_samples_per_second": 12.588,
+      "eval_steps_per_second": 0.403,
+      "step": 892
+    },
+    {
+      "epoch": 2.0,
+      "grad_norm": 2.0297691822052,
+      "learning_rate": 0.0006,
+      "loss": 1.481,
+      "step": 1784
+    },
+    {
+      "epoch": 2.0,
+      "eval_gen_len": 1.0,
+      "eval_loss": 0.9344112277030945,
+      "eval_rouge1": 0.5062,
+      "eval_rouge2": 0.0,
+      "eval_rougeL": 0.5067,
+      "eval_rougeLsum": 0.5051,
+      "eval_runtime": 63.1246,
+      "eval_samples_per_second": 11.881,
+      "eval_steps_per_second": 0.38,
+      "step": 1784
+    },
+    {
+      "epoch": 3.0,
+      "grad_norm": 1.9700727462768555,
+      "learning_rate": 0.0004,
+      "loss": 1.194,
+      "step": 2676
+    },
+    {
+      "epoch": 3.0,
+      "eval_gen_len": 1.0,
+      "eval_loss": 0.7902495265007019,
+      "eval_rouge1": 0.6449,
+      "eval_rouge2": 0.0,
+      "eval_rougeL": 0.6488,
+      "eval_rougeLsum": 0.6454,
+      "eval_runtime": 59.7895,
+      "eval_samples_per_second": 12.544,
+      "eval_steps_per_second": 0.401,
+      "step": 2676
+    },
+    {
+      "epoch": 4.0,
+      "grad_norm": 1.7162905931472778,
+      "learning_rate": 0.0002,
+      "loss": 1.0257,
+      "step": 3568
+    },
+    {
+      "epoch": 4.0,
+      "eval_gen_len": 1.0,
+      "eval_loss": 0.7315613627433777,
+      "eval_rouge1": 0.4501,
+      "eval_rouge2": 0.0,
+      "eval_rougeL": 0.4461,
+      "eval_rougeLsum": 0.4508,
+      "eval_runtime": 61.0508,
+      "eval_samples_per_second": 12.285,
+      "eval_steps_per_second": 0.393,
+      "step": 3568
+    },
+    {
+      "epoch": 5.0,
+      "grad_norm": 2.0185036659240723,
+      "learning_rate": 0.0,
+      "loss": 0.9184,
+      "step": 4460
+    },
+    {
+      "epoch": 5.0,
+      "eval_gen_len": 1.0,
+      "eval_loss": 0.6921437382698059,
+      "eval_rouge1": 0.5367,
+      "eval_rouge2": 0.0,
+      "eval_rougeL": 0.5393,
+      "eval_rougeLsum": 0.5356,
+      "eval_runtime": 60.6533,
+      "eval_samples_per_second": 12.365,
+      "eval_steps_per_second": 0.396,
+      "step": 4460
+    },
+    {
+      "epoch": 5.0,
+      "step": 4460,
+      "total_flos": 5.591093554778112e+16,
+      "train_loss": 1.4064704381831559,
+      "train_runtime": 6422.8288,
+      "train_samples_per_second": 11.103,
+      "train_steps_per_second": 0.694
+    }
+  ],
+  "logging_steps": 500,
+  "max_steps": 4460,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 5,
+  "save_steps": 500,
+  "total_flos": 5.591093554778112e+16,
+  "train_batch_size": 16,
+  "trial_name": null,
+  "trial_params": null
+}