Training in progress, epoch 1

README.md

@@ -19,11 +19,11 @@ should probably proofread and complete it, then remove this comment. -->
 
 This model is a fine-tuned version of [LazarusNLP/IndoNanoT5-base](https://huggingface.co/LazarusNLP/IndoNanoT5-base) on an unknown dataset.
 It achieves the following results on the evaluation set:
-- Loss: 0.7119
-- Rouge1: 0.3815
+- Loss: 0.5082
+- Rouge1: 0.3572
 - Rouge2: 0.0
-- Rougel: 0.3779
-- Rougelsum: 0.3777
+- Rougel: 0.3545
+- Rougelsum: 0.3557
 - Gen Len: 1.0
 
 ## Model description
@@ -43,9 +43,9 @@ More information needed
 ### Training hyperparameters
 
 The following hyperparameters were used during training:
-- learning_rate: 0.001
-- train_batch_size: 16
-- eval_batch_size: 32
+- learning_rate: 5e-05
+- train_batch_size: 4
+- eval_batch_size: 8
 - seed: 42
 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
 - lr_scheduler_type: linear
@@ -53,18 +53,18 @@ The following hyperparameters were used during training:
 
 ### Training results
 
-| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len |
-|:-------------:|:-----:|:----:|:---------------:|:------:|:------:|:------:|:---------:|:-------:|
-| 1.2189        | 1.0   | 892  | 0.7751          | 0.6416 | 0.0    | 0.6379 | 0.6405    | 1.0     |
-| 0.6795        | 2.0   | 1784 | 0.6535          | 0.6574 | 0.0    | 0.6553 | 0.6569    | 1.0     |
-| 0.4861        | 3.0   | 2676 | 0.6220          | 0.6717 | 0.0    | 0.6667 | 0.6691    | 1.0     |
-| 0.3405        | 4.0   | 3568 | 0.6415          | 0.6974 | 0.0    | 0.6969 | 0.6948    | 1.0     |
-| 0.2041        | 5.0   | 4460 | 0.7119          | 0.677  | 0.0    | 0.6766 | 0.6756    | 1.0     |
+| Training Loss | Epoch | Step  | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len |
+|:-------------:|:-----:|:-----:|:---------------:|:------:|:------:|:------:|:---------:|:-------:|
+| 0.6282        | 1.0   | 3566  | 0.4719          | 0.43   | 0.0    | 0.4255 | 0.4282    | 1.0     |
+| 0.4301        | 2.0   | 7132  | 0.4728          | 0.3754 | 0.0    | 0.3711 | 0.3719    | 1.0     |
+| 0.3336        | 3.0   | 10698 | 0.4632          | 0.3806 | 0.0    | 0.3777 | 0.3808    | 1.0     |
+| 0.2643        | 4.0   | 14264 | 0.4921          | 0.3537 | 0.0    | 0.3512 | 0.3514    | 1.0     |
+| 0.2174        | 5.0   | 17830 | 0.5082          | 0.3572 | 0.0    | 0.3545 | 0.3557    | 1.0     |
 
 
 ### Framework versions
 
 - Transformers 4.40.2
-- Pytorch 2.3.1+cu121
-- Datasets 2.20.0
+- Pytorch 2.3.0+cu121
+- Datasets 2.19.1
 - Tokenizers 0.19.1

all_results.json

@@ -1,29 +1,29 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.7118794322013855,
-    "eval_rouge1": 0.3815,
+    "eval_loss": 0.5082412362098694,
+    "eval_rouge1": 0.3572,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.3779,
-    "eval_rougeLsum": 0.3777,
-    "eval_runtime": 501.4512,
+    "eval_rougeL": 0.3545,
+    "eval_rougeLsum": 0.3557,
+    "eval_runtime": 333.3038,
     "eval_samples": 750,
-    "eval_samples_per_second": 1.496,
-    "eval_steps_per_second": 0.048,
+    "eval_samples_per_second": 2.25,
+    "eval_steps_per_second": 0.282,
     "predict_gen_len": 1.0,
-    "predict_loss": 0.7455533742904663,
-    "predict_rouge1": 0.4378,
+    "predict_loss": 0.5292530655860901,
+    "predict_rouge1": 0.4599,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.4379,
-    "predict_rougeLsum": 0.4373,
-    "predict_runtime": 2410.7967,
+    "predict_rougeL": 0.4593,
+    "predict_rougeLsum": 0.4589,
+    "predict_runtime": 1669.4106,
     "predict_samples": 3762,
-    "predict_samples_per_second": 1.56,
-    "predict_steps_per_second": 0.049,
-    "total_flos": 4.883004680306688e+16,
-    "train_loss": 0.5858162473670036,
-    "train_runtime": 4319.7008,
+    "predict_samples_per_second": 2.253,
+    "predict_steps_per_second": 0.282,
+    "total_flos": 6.578740997709005e+16,
+    "train_loss": 0.3747134633901342,
+    "train_runtime": 9353.1788,
     "train_samples": 14262,
-    "train_samples_per_second": 16.508,
-    "train_steps_per_second": 1.032
+    "train_samples_per_second": 7.624,
+    "train_steps_per_second": 1.906
 }

config.json

@@ -7,7 +7,7 @@
     "fusions": {}
   },
   "architectures": [
-    "T5ForConditionalGeneration"
+    "T5AdapterModel"
   ],
   "classifier_dropout": 0.0,
   "d_ff": 2048,
@@ -18,9 +18,11 @@
   "dropout_rate": 0.1,
   "eos_token_id": 1,
   "feed_forward_proj": "gated-gelu",
+  "id2label": null,
   "initializer_factor": 1.0,
   "is_encoder_decoder": true,
   "is_gated_act": true,
+  "label2id": null,
   "layer_norm_epsilon": 1e-06,
   "model_type": "t5",
   "num_decoder_layers": 12,
@@ -28,6 +30,18 @@
   "num_layers": 12,
   "output_past": true,
   "pad_token_id": 0,
+  "prediction_heads": {
+    "default": {
+      "activation_function": null,
+      "bias": false,
+      "head_type": "seq2seq_lm",
+      "label2id": null,
+      "layer_norm": false,
+      "layers": 1,
+      "shift_labels": false,
+      "vocab_size": 32128
+    }
+  },
   "relative_attention_max_distance": 128,
   "relative_attention_num_buckets": 32,
   "tie_word_embeddings": false,

eval_results.json

@@ -1,13 +1,13 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.7118794322013855,
-    "eval_rouge1": 0.3815,
+    "eval_loss": 0.5082412362098694,
+    "eval_rouge1": 0.3572,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.3779,
-    "eval_rougeLsum": 0.3777,
-    "eval_runtime": 501.4512,
+    "eval_rougeL": 0.3545,
+    "eval_rougeLsum": 0.3557,
+    "eval_runtime": 333.3038,
     "eval_samples": 750,
-    "eval_samples_per_second": 1.496,
-    "eval_steps_per_second": 0.048
+    "eval_samples_per_second": 2.25,
+    "eval_steps_per_second": 0.282
 }

generated_predictions.txt

@@ -6,61 +6,61 @@ karena
 k
 adalah
 dan
-s
-itu
+permainan
+saya
 oleh
 sudah
-semua
-s
-di
-2
+bagi
+ada
+itu
+
 ,
 harus
 dan
 8
 juga
 
-a
+dengan
 "
 judi
 dari
-
+1
 uang
 judi
-sendiri
-kami
+dengan
+/
 2
 dan
 bisa
 bagi
 judi
-online
+memiliki
 karena
-/
+saya
 3
 yang
 semua
-bisa
+an
 -
-pemain
+maka
 .
-untuk
+1
 seperti
-u
-
-menggunakan
+situs
+dan
+6
 menjadi
 pada
 ke
 dari
 
 jika
-menggunakan
-
+permainan
+a
 juga
 kami
-itu
-indonesia
+akan
+situs
 jika
 sebagai
 ada
@@ -76,11 +76,11 @@ dan
 .
 .
 dalam
-)
+juga
 dari
-ini
+jika
 permainan
-t
+hanya
 /
 oleh
 
@@ -88,99 +88,99 @@ pada
 banyak
 -
 6
-dalam
-5
+e
+pada
 lebih
 a
 "
-,
-mereka
-indonesia
+situs
+?
+banyak
 atau
 bisa
-dari
+untuk
 kan
-hanya
+itu
 p
 dari
 s
-9
-(
+sebagai
+satu
 kita
-situs
+"
 
 dari
 
 
 dari
-permainan
-seperti
+8
+dapat
 memiliki
-harus
+di
 pada
 dalam
 s
 dari
-kan
+bermain
 dari
 dan
 bisa
-7
-terbaik
-
+nya
+perlu
+dan
 dan
 mereka
-4
 kamu
-8
+beberapa
+2
 
-di
+an
 dari
 dan
-lebih
-besar
-kamu
--
-baik
+juga
 anda
--
+menggunakan
+,
+permainan
+anda
+e
 indonesia
 lebih
-baik
+t
 baik
 di
-sudah
+orang
 5
 
-membuat
+judi
 oleh
-juga
+ada
 kita
-bisa
+para
 sangat
 seperti
 dan
 untuk
-,
+k
 saja
 kan
 menjadi
 di
 d
-seperti
+orang
 baik
 mereka
-banyak
-dan
+jika
+adalah
 u
 7
 nya
-di
+
 dalam
 nya
 
-(
-lebih
+tersebut
+hal
 dengan
 beberapa
 1
@@ -190,201 +190,201 @@ dari
 saya
 1
 saja
-anda
+-
 dan
 tersebut
-seperti
+8
 online
 yang
-sudah
+a
 
 4
 dari
-sudah
+para
 nya
 anda
 ?
 dari
 .
 kita
-/
+3
 (
-untuk
-kan
-2
+bermain
+karena
+online
 cara
 
 atau
-produk
+di
 itu
-hal
-bermain
+:
+dan
 orang
 tersebut
 sangat
 -
-dapat
+2
 1
 menggunakan
 anda
 adalah
-3
 orang
 ada
+namun
 beberapa
 saat
 di
 kamu
 0
 
-oleh
+harus
 seperti
-bermain
+sebagai
 atau
 di
 
 1
 satu
-hanya
+m
 tersebut
-3
-2
+juga
+di
 1
 yang
 telah
-tersebut
+cara
 untuk
-ingin
+terbaik
 ada
-oleh
+besar
 adalah
 -
-membuat
-beberapa
+ini
+lain
 yang
 yang
 ,
 yang
 pada
 poker
-
+situs
 an
 yang
 untuk
-tidak
-atau
-hal
+di
 atau
-(
+harus
+untuk
+ada
 i
-k
-sebagai
-akan
+a
+slot
+juga
 dalam
-8
-e
-ini
+orang
+saat
+
 online
 
-seperti
-"
+semua
+membuat
 pada
-dan
+p
 tersebut
 d
-lebih
-dan
+atau
+
 situs
 /
 satu
 i
 nya
-seperti
-pemain
-karena
-hal
+.
+7
+baik
+kami
 juga
 nya
 2
-
+anda
 yang
 tersebut
 yang
-u
+a
 kan
 bahwa
-5
+orang
 juga
 nya
-p
+m
 i
 -
-online
+0
 dan
-bahwa
+s
 kami
-juga
+lain
 untuk
 saat
 untuk
 2
 dapat
-4
+cara
 yang
 untuk
-
+juga
 dengan
 
 di
-besar
-ini
+:
+saya
 juga
 banyak
 /
-dapat
+situs
 seperti
 :
-5
+menjadi
 dan
-m
-orang
+-
+4
 hal
-8
-kan
+memiliki
+ini
 kami
 4
 e
 tidak
 sudah
-2
+0
 
-untuk
-judi
+kami
+"
 hanya
 dalam
-bahwa
+hanya
 banyak
 jika
 nya
 0
 lebih
-sebagai
-baik
+3
+bahwa
 itu
-tahun
+kami
 .
 i
-
+tahun
 yang
-7
-beberapa
+kan
+
 dengan
 s
 0
 
 dan
-tidak
-u
+sudah
+secara
 kita
 juga
 :
@@ -404,143 +404,143 @@ anda
 dapat
 sudah
 di
-?
+
 oleh
-maka
+perlu
 
-permainan
+seperti
+dalam
 dalam
-nya
 kita
 
-kita
+s
 tidak
-karena
+s
 1
-situs
+jika
 orang
 itu
 dengan
-?
-hanya
-itu
+oleh
+s
+
 untuk
-anda
+lain
 harus
 2
-/
-bisa
+memiliki
+adalah
 2
 dan
-banyak
+4
 bermain
-?
+permainan
 nya
 permainan
 ?
-semua
+u
 akan
 saya
 situs
 dari
-t
-:
-"
+akan
+bermain
+lebih
 
-permainan
+saja
 karena
 
-pemain
-ini
-pada
+kan
+tidak
+seperti
 dan
 3
-permainan
+?
 dan
-n
+bahwa
 kamu
 bahwa
 dalam
 5
-(
-,
+secara
+slot
 .
 ini
 8
 bahwa
 5
-.
-juga
+situs
+karena
 indonesia
 
-maka
+s
 0
-9
+permainan
 
+bermain
+"
 (
-sebagai
-(
-pada
+dalam
 saya
 4
-bahwa
+satu
 e
-karena
-telah
+tersebut
+anda
 "
 banyak
-memiliki
+tahun
 
-anda
-u
+di
+(
 karena
-cara
+sangat
 dan
 situs
 s
-i
+kan
 anda
 atau
 yang
 harus
-8
+7
 
-,
+judi
 pada
-sangat
+beberapa
 2
 atau
-apa
-dan
 ?
-:
-permainan
-
-a
+dan
+"
+memiliki
 permainan
+secara
+bahwa
+mereka
 
-adalah
+online
 anda
-secara
+lain
 untuk
 yang
 waktu
-,
-itu
-bisa
 dengan
-
-e
-an
 tidak
-harga
+juga
+dengan
+an
+tersebut
+i
+4
+saat
 
 bisnis
-yang
-dengan
-salah
-sangat
+membuat
+oleh
+menjadi
 sangat
+5
 ada
 
 mereka
@@ -551,28 +551,28 @@ untuk
 
 besar
 tahun
-sangat
+4
 cara
-menggunakan
+k
 2
 anda
--
+0
 juga
-5
+)
 hal
-melakukan
+t
 2
-besar
+ini
 5
-dan
+juga
 bermain
 dan
 melakukan
 yang
-yang
-an
+1
+indonesia
 dapat
-online
+saja
 orang
 dengan
 sudah
@@ -583,7 +583,7 @@ ini
 ada
 
 an
-sebagai
+hanya
 4
 seperti
 membuat
@@ -592,32 +592,32 @@ itu
 bahwa
 
 kita
-judi
+indonesia
 atau
 cara
 
 dan
 -
 mereka
-saja
-(
-oleh
-k
+a
+semua
+game
+saat
 3
 mereka
 s
 harus
-beberapa
+secara
 i
 lebih
-?
-menjadi
+dengan
+sebagai
 -
 "
 )
 anda
-i
-bahwa
+.
+mereka
 karena
 6
 1
@@ -633,104 +633,104 @@ permainan
 anda
 maka
 dan
-a
+seperti
 seperti
 kita
 
 k
 saat
 
-harus
-sebagai
+tersebut
+telah
 dengan
 
 dengan
-"
+anda
 ,
 dari
 juga
 dapat
-(
-uang
+pada
+6
 poker
-mereka
+t
 dapat
-kan
+(
 kita
 dalam
 dengan
-bagi
+dan
 yang
 ,
-sudah
-9
+kamu
+/
 bisa
 9
 pemain
 
 tidak
 yang
-7
+sebagai
 yang
 jika
 apa
-adalah
+juga
 sangat
-maka
+atau
 sudah
 
-di
-bahwa
+0
+cara
 dengan
 online
 i
 besar
-maka
+(
 i
 atau
 adalah
 dalam
 dengan
-k
-6
+.
+hanya
 sudah
 satu
 
 orang
-hanya
+d
 online
-besar
-secara
-
+kan
+m
+/
 adalah
-sangat
-dan
+bahwa
+akan
 yang
-8
-bisnis
+baik
+saja
 atau
-
-cara
+dengan
+orang
 di
 tidak
-itu
+untuk
 perlu
 ke
 .
 pada
-secara
+baik
 9
 sangat
-baik
-anda
+indonesia
+dari
 
 online
-7
+ke
 dapat
 0
 secara
 oleh
-t
+karena
 
 yang
 anda
@@ -739,34 +739,34 @@ judi
 mereka
 lebih
 secara
-.
+u
 tahun
-bisnis
+namun
 saya
-5
+2
 di
-6
-judi
-.
+k
+saja
+
 (
 -
-dari
-atau
+?
+juga
 ,
-online
+kami
 untuk
 untuk
 untuk
 membuat
 1
 ada
-juga
-?
-9
-agar
+tidak
+dengan
+besar
+di
 bermain
 lebih
-satu
+anda
 /
 t
 "
@@ -774,48 +774,48 @@ poker
 8
 dan
 1
-mereka
+:
 2
 itu
 lain
-orang
+jika
 banyak
-adalah
-k
-?
+hal
+saja
+jika
 kan
 anda
 ,
 online
-sebagai
-anda
-setelah
+akan
+ini
+beberapa
 mereka
 akan
 dapat
 sangat
-seperti
-karena
-pada
+cara
+melakukan
+dalam
 dan
-secara
+di
 sebagai
 yang
 
-harus
+sudah
 1
 satu
-memiliki
+satu
 tidak
 
-kan
+k
 menjadi
 .
-satu
-akan
-u
-
-indonesia
+5
+hal
+an
+dapat
+dari
 adalah
 yang
 beberapa
@@ -824,61 +824,61 @@ beberapa
 0
 ,
 satu
-3
+(
 tidak
 yang
 sangat
-
+dari
 game
 t
 ini
 juga
-
-baik
+bermain
+9
 di
 menjadi
-lagi
-situs
-a
+adalah
+/
+memiliki
 tahun
 saja
 hanya
 
-d
+semua
 ini
 ,
 /
-karena
+cara
 juga
 dengan
 situs
 u
 itu
-karena
+pada
 situs
 kamu
 tahun
-1
-1
-memiliki
-banyak
+nya
+tidak
+kita
+yang
 di
 waktu
 di
 sebagai
-3
-sebagai
+8
+bagi
 atau
 ,
 mereka
--
+?
 
-oleh
+,
 /
-sangat
-4
-0
-dalam
+kami
+untuk
+lebih
+indonesia
 untuk
 nya
 dan
@@ -886,40 +886,40 @@ jika
 1
 oleh
 ,
-?
-s
+seperti
+memiliki
 
-)
-an
+slot
+bahwa
 pada
 secara
 
 orang
 mereka
-hanya
+an
 -
 
 memiliki
 atau
-)
+lebih
 anda
 hal
 akan
 online
-sangat
+a
 untuk
 dapat
 menjadi
-para
+hanya
 5
 dengan
 orang
 yang
 .
 7
-u
+?
 banyak
-bisa
+8
 yang
 5
 besar
@@ -927,70 +927,70 @@ besar
 dalam
 
 itu
-juga
+mereka
 melakukan
 ke
 tersebut
 
-indonesia
+saat
 8
 akan
 salah
 oleh
 mereka
 
-
+bisa
 saja
 0
-bisnis
+ada
 
 poker
 saja
 salah
 )
 bisa
-sebagai
-cara
-game
+harus
+hanya
+membuat
 3
 slot
 
 bisa
 1
-3
+memiliki
 1
-,
+anda
 banyak
 bisa
 situs
-saja
+
 kita
 untuk
 karena
 1
 8
-itu
+n
 d
 yang
 nya
 satu
-harus
+"
 mereka
 di
 saat
-dapat
+bisa
 ini
-.
+mereka
 saja
 akan
 jika
 5
-semua
+t
 seperti
 untuk
 yang
-harus
-banyak
+/
+seperti
 memiliki
 4
 secara
@@ -1001,20 +1001,20 @@ jika
 lebih
 bahwa
 saya
-di
+saat
 ini
 menjadi
-situs
-slot
+an
+poker
 dan
-beberapa
+5
 saja
 1
 juga
-/
-adalah
+e
+dan
 ini
-membuat
+juga
 kamu
 yang
 besar
@@ -1022,27 +1022,27 @@ ke
 mendapatkan
 
 
-,
+bahwa
 online
 
-)
-u
+orang
+bahwa
 kamu
-untuk
-semua
+2
+t
 saja
 
 baik
-cara
-oleh
+an
 oleh
+(
 lebih
-harus
+k
 adalah
-cara
+sangat
 -
 
-telah
+karena
 cara
 )
 
@@ -1054,59 +1054,59 @@ tidak
 kamu
 jika
 ?
-saya
+akan
 ini
 )
 telah
-bisa
+akan
 adalah
 bisa
 
-indonesia
+secara
 banyak
 :
-bahwa
-yang
+(
+itu
 sangat
 8
 dan
-bermain
-lebih
-memiliki
+salah
+situs
+menjadi
 
 indonesia
 dengan
 :
-saya
+yang
 ini
 jika
 
 anda
-s
+untuk
 di
 
 karena
-lebih
-ketika
+online
+
 pada
 an
-dan
-seperti
-mudah
+kita
+menjadi
+2
 .
 ,
-,
-saja
+dalam
+an
 judi
-2
-atau
+oleh
+lebih
 jika
-ingin
+poker
 kami
-nya
+hal
 telah
 
-2
+besar
 an
 dapat
 9
@@ -1115,7 +1115,7 @@ lain
 nya
 pada
 membuat
-untuk
+seperti
 juga
 namun
 m
@@ -1125,44 +1125,44 @@ juga
 melakukan
 banyak
 bisa
-kita
+1
 
 jika
 sebagai
-kami
-kamu
+an
+besar
 dan
 sudah
 ada
 indonesia
 ,
-yang
-(
-bisa
-yang
+judi
+kita
+jika
+slot
 menjadi
 judi
 dan
 
-9
-3
+pada
+bisnis
 ,
-7
+
 untuk
 jika
 tersebut
 -
-kita
-
-maka
+ke
+saat
+poker
 besar
-membuat
+9
 cara
 bisa
 dan
 1
 ini
-
+,
 di
 t
 adalah
@@ -1172,14 +1172,14 @@ untuk
 5
 kami
 dan
-para
+seperti
 itu
 :
-)
-itu
+dapat
+9
 
-)
-saja
+?
+adalah
 
 hal
 
@@ -1187,19 +1187,19 @@ hal
 .
 pada
 ini
-bahwa
-situs
-tahun
+ke
+secara
+cara
 itu
 tersebut
-cara
-p
+judi
+d
 harus
 di
 5
 yang
 seperti
-menggunakan
+kamu
 memiliki
 sangat
 
@@ -1207,14 +1207,14 @@ akan
 dengan
 situs
 itu
-harus
-jika
-s
+?
+mereka
+i
 a
-ini
+s
 menjadi
 yang
-akan
+1
 n
 oleh
 bisa
@@ -1223,58 +1223,58 @@ dengan
 1
 0
 .
-dalam
+u
 .
-6
-r
+t
+baru
 dan
 ?
 (
-untuk
+akan
 saat
 maka
-
+kami
 t
 .
 e
-beberapa
-9
+online
+
+
+7
 
-kan
-mereka
 4
-salah
-karena
-t
 
-ada
+karena
+?
+i
+?
 anda
 dapat
 bahwa
-beberapa
+besar
 bermain
-s
+ini
 an
 
-saat
+9
 1
 ke
-7
+akan
 pada
-a
+:
 untuk
 secara
 dan
 "
 online
-,
+
 beberapa
 )
 di
 di
 
 )
-secara
+sudah
 oleh
 oleh
 dari
@@ -1282,40 +1282,40 @@ nya
 menjadi
 0
 .
-forex
+-
 tidak
 0
 ,
-dengan
+?
 t
 cara
 permainan
 
 sebagai
-4
+slot
 atau
 ke
-u
+dari
 maka
-kan
+salah
 online
 besar
-baik
-cara
-an
-permainan
+"
+sudah
+hanya
+menggunakan
 dari
 jika
 dapat
-harus
+satu
 
 saat
 di
 tersebut
 di
 
-6
-7
+lain
+bisnis
 dalam
 
 ke
@@ -1324,28 +1324,28 @@ oleh
 saya
 beberapa
 memiliki
-memiliki
-bisnis
+saat
+dengan
 banyak
-k
 dapat
-2
+dapat
+n
 .
-karena
-t
+menggunakan
+pada
 harus
 
-7
-jika
-besar
-indonesia
+maka
+judi
+lain
+
 situs
 cara
 5
 dari
 maka
 yang
-adalah
+,
 ,
 ?
 lebih
@@ -1354,8 +1354,8 @@ besar
 9
 beberapa
 bisa
-pada
-seperti
+saja
+masih
 anda
 satu
 bisa
@@ -1370,57 +1370,57 @@ semua
 saya
 akan
 ada
-4
+bahwa
 lebih
-anda
-d
+hal
+harus
 ini
-seperti
-?
-pemain
+4
+a
+yang
 0
 juga
 adalah
 hanya
 bahwa
-sangat
+beberapa
 saja
 untuk
 s
 
-dalam
+"
 tersebut
 pada
 nya
-banyak
+ke
 .
-an
+kami
 /
 lebih
-harus
+/
 tersebut
 menggunakan
 yang
-kita
-saja
+harus
+kamu
 situs
 kan
 cara
 ada
 nya
-adalah
+para
 )
 beberapa
 sangat
 satu
 anda
-i
+ke
 hal
 sudah
 di
 maka
 -
-mereka
+banyak
 dari
 secara
 
@@ -1430,24 +1430,24 @@ saat
 k
 dalam
 ,
-3
+:
 )
 itu
 .
 kita
 pada
-secara
+s
 di
 yang
-besar
+tidak
 online
 beberapa
-menjadi
+seperti
 karena
 yang
 game
 permainan
-jika
+3
 nya
 juga
 satu
@@ -1459,13 +1459,13 @@ juga
 dapat
 seperti
 
-u
+situs
 (
 
 ,
 adalah
-t
-besar
+beberapa
+.
 
 secara
 nya
@@ -1474,23 +1474,23 @@ yang
 saya
 adalah
 di
-judi
+5
 nya
-7
-salah
+untuk
+para
 -
 karena
 (
 memiliki
 adalah
-"
+satu
 membuat
 ,
-m
+waktu
 adalah
 nya
-harus
-t
+saja
+secara
 dalam
 .
 ini
@@ -1499,48 +1499,48 @@ sudah
 ini
 1
 s
-/
-kami
+
+hal
 :
 "
 ini
 uang
 
-satu
+bermain
 ,
 ,
-karena
+di
 ,
-ada
+(
 ,
 -
-3
+judi
 anda
 atau
 
 kan
 banyak
 hal
--
+beberapa
 dari
 satu
 s
-anda
-dari
+.
+dalam
 saya
-hanya
+a
 dalam
-bahwa
-"
+dalam
+game
 adalah
 oleh
 :
-ketika
-menjadi
+juga
+k
 karena
 ini
-(
-secara
+-
+slot
 u
 0
 adalah
@@ -1549,164 +1549,164 @@ yang
 9
 judi
 di
-banyak
+dengan
 online
 6
 o
 ,
 /
-banyak
+(
 jika
 bisa
 salah
 dapat
 tersebut
-ini
+-
 adalah
-bermain
+1
 d
 tidak
 dari
-cara
-di
+bisa
+indonesia
 0
+satu
 dari
-dari
-atau
-lain
-melakukan
-lain
+tidak
+d
+7
+poker
 yang
-saya
+e
 1
-.
+seperti
 d
 saya
-adalah
+bagi
 .
 bisa
-mereka
+satu
 (
 sebagai
 u
-maka
+dapat
 5
-game
+mungkin
 bisa
 kita
 ,
 .
 dalam
 memiliki
-secara
-tidak
+)
+sudah
 k
 jadi
-kan
+mudah
 yang
-adalah
-atau
+nya
+banyak
 dengan
 ada
 kan
-saya
+hal
 untuk
-sendiri
-saat
+
+bermain
 "
 :
 0
 ke
-untuk
-4
+)
+semua
 anda
 atau
 bahwa
 besar
 1
 kita
-dari
+adalah
 ,
 5
 dan
 ini
-tidak
+itu
 adalah
 ada
 permainan
 tersebut
 
 bermain
-t
-satu
+secara
+5
 3
 sudah
-menggunakan
+lain
 lain
 banyak
 pada
 ,
-a
+p
 ,
 )
 e
-dan
+atau
 akan
 -
 1
 2
 -
-lain
+uang
 online
-/
+judi
 atau
-sudah
-dalam
+satu
+dengan
 
 bermain
 kamu
-sangat
+bisa
 yang
-t
+situs
 apa
-dapat
-dari
+ada
+yang
 yang
 .
 (
-an
+)
 jadi
 untuk
 e
 juga
-t
-u
+baik
+lain
 adalah
-,
+tahun
 tidak
 lebih
 kamu
-saja
-d
+bahwa
+6
 nya
+u
 a
-a
-cara
+permainan
 
 /
 atau
 adalah
-itu
+5
 sudah
 n
-dapat
-pada
+ada
+)
 untuk
 dan
-maka
+bermain
 u
-sudah
-juga
+
+
 dalam
 yang
 
@@ -1717,37 +1717,37 @@ lebih
 pada
 8
 akan
-nya
+itu
 dalam
 atau
-:
+7
 satu
 s
 cara
-hanya
+semua
 indonesia
 dan
 tersebut
 itu
-pemain
+semua
 maka
 1
 online
-game
+salah
 
 ini
 saja
-para
+tidak
 nya
 -
-
-ke
-ini
 hal
+ke
+9
+7
 game
 karena
-dari
-dari
+yang
+adalah
 0
 -
 bahwa
@@ -1756,93 +1756,93 @@ ada
 seperti
 saya
 0
-sendiri
+bisa
 juga
 ada
 atau
 yang
-hanya
-bahwa
+salah
+membuat
 pada
 bahwa
-kan
+d
 k
 hanya
 menjadi
 banyak
-judi
+bisa
 pada
-
-online
+jika
+)
 bisa
-permainan
-besar
-memiliki
+jika
+?
+bahwa
 itu
-baik
+ke
 ada
 untuk
 dapat
-akan
+
 ini
 untuk
 bahwa
 yang
 1
 bisa
-indonesia
+menggunakan
 waktu
 online
 s
-juga
-kan
-d
+kamu
+6
+kami
 karena
-bahwa
-online
-secara
+dapat
+game
+besar
 nya
 ke
 saja
 atau
 -
-dari
+judi
 atau
-indonesia
+secara
 mereka
-situs
-
+tersebut
+harus
 dan
-tidak
+5
 bisnis
-oleh
+4
 )
 dengan
-bisa
-nya
-a
-(
+atau
+besar
+beberapa
+saat
 "
 1
 –
 menjadi
 satu
-"
+satu
 
 mereka
 situs
 dan
 kan
 maka
--
+di
 nya
-uang
+6
 0
 anda
 dari
-beberapa
+apa
 3
-dengan
+terbaik
 
 nya
 salah
@@ -1850,24 +1850,24 @@ membuat
 )
 
 pada
-rumah
+indonesia
 secara
 apa
 semua
 untuk
 4
-itu
+juga
+
 
-.
 .
 sudah
 a
-.
+hanya
 mereka
 1
-tidak
-anda
-ke
+
+bahwa
+nya
 bisa
 juga
 ,
@@ -1877,42 +1877,42 @@ tidak
 sebagai
 ini
 bisnis
-game
+membuat
 cara
 banyak
 cara
-satu
+e
 dan
 jika
-ini
+4
 i
 2
-i
+ke
 memiliki
 orang
 8
-bermain
+yang
 permainan
 7
 sudah
 cara
 dapat
 lebih
-ke
-2
+dari
+pada
 anda
-sudah
+dengan
 cara
 (
 )
-9
+seperti
 atau
 di
 2
 :
 sangat
-besar
-sebagai
+namun
+i
 dan
 
 dan
@@ -1921,184 +1921,184 @@ di
 poker
 saya
 ada
-i
-bermain
+bisa
+secara
 harus
 harus
-memiliki
-yang
-baik
-indonesia
+orang
+6
+situs
+7
 di
 bisa
 dapat
 atau
-anda
-dari
-memiliki
+dalam
+dapat
+satu
 seperti
 4
 -
 )
 tersebut
 lain
-9
+2
 saja
 kami
-2
+dalam
 judi
 3
 adalah
-u
-dengan
+uang
+dari
 mungkin
 yang
-memiliki
+
 .
-pada
+harus
 ,
 membuat
-dalam
-dalam
+?
+akan
 ke
 bermain
 dengan
 
-0
-online
-satu
-,
+kamu
+lebih
+di
+sudah
 untuk
 beberapa
 sangat
-dari
-dan
+baru
+anda
 9
 menggunakan
-e
-hanya
-permainan
+kami
+memiliki
+saya
 9
-mudah
+bermain
 permainan
-menjadi
+karena
 anda
 pada
-k
+kita
 p
 untuk
 :
-5
-hal
-salah
-ada
-(
+baik
+bahwa
+a
+s
+tidak
 (
-memiliki
-kan
-.
-judi
+bisa
+di
+lebih
+an
 sebagai
-5
+baik
 atau
-saat
-3
-melakukan
+online
+dalam
+game
 .
-i
-anda
+jika
+ini
 satu
-untuk
-2
-8
 
-akan
 lebih
-beberapa
+dan
+
+3
+lebih
+bahwa
 kamu
 saat
-)
+dapat
 kan
-lain
--
+u
+mereka
 tersebut
 "
 6
-yang
-lagi
+,
+masih
 ke
 3
 dan
--
-beberapa
+baik
+situs
 anda
 seperti
-saat
+seperti
 
-0
+maka
 .
 salah
 kamu
 
-beberapa
-a
-(
-kan
-setelah
+7
+kami
+bermain
+
+anda
 juga
-seperti
-situs
+"
+hal
 )
 dalam
-dalam
+s
 hanya
-dapat
-jika
+karena
+satu
 bisa
 e
-harus
-0
+kita
+an
 lain
 membuat
-baik
+situs
 ke
 bisa
-dan
+judi
 t
 akan
-sendiri
+uang
 mereka
 bisa
 3
 .
-adalah
+ada
 5
-d
+kamu
 -
 yang
-
+banyak
 dan
-harus
+)
 akan
 i
 1
 .
-sudah
+d
 memiliki
-para
+oleh
 dari
 melakukan
-kan
+harus
 saya
-5
-memiliki
-maka
-membuat
+
+?
+dengan
+di
 0
 untuk
-besar
-bahwa
-9
+dengan
+)
+sangat
 lebih
 anda
 9
@@ -2107,26 +2107,26 @@ tidak
 :
 
 yang
-juga
+dari
 
 atau
 
 saya
-ke
+lebih
 salah
 satu
-6
+besar
 5
 8
-menggunakan
+kan
 itu
-seperti
-p
-
+7
+jadi
 
+maka
 
-pemain
-cara
+untuk
+untuk
 2
 dan
 satu
@@ -2137,53 +2137,53 @@ akan
 6
 ke
 (
-para
+di
 hal
 juga
 
 0
-,
+akan
 anda
-
-8
-0
+t
+/
+-
 
 s
-harga
+harus
 akan
 bahwa
 hanya
-seperti
+bahwa
 dalam
 an
-
-
+dapat
+telah
 menjadi
 6
 orang
-banyak
-secara
+menjadi
+t
 orang
 yang
 anda
-
-online
+cara
+2
 8
 4
 an
 kami
-s
+setiap
 dengan
 :
-kan
+saya
 s
 -
 adalah
 satu
 memiliki
 1
-tentang
-7
+saya
+menjadi
 seperti
 bisnis
 indonesia
@@ -2191,55 +2191,55 @@ hal
 kami
 untuk
 indonesia
-anda
-kamu
-4
+kan
 untuk
+.
+kita
 anda
 ini
-besar
+para
 hal
 juga
 kita
-slot
+/
 
 akan
 sebagai
-hal
+8
 seperti
 yang
 ke
-menjadi
+sangat
 nya
 hal
 dan
 untuk
 pada
 dan
-bahwa
+0
 
-anda
+di
 s
 2
 ,
-permainan
+beberapa
 
 untuk
 
 "
 tersebut
-slot
+6
 e
--
+cara
 -
 dari
 i
 saya
-telah
+saja
 mereka
 dengan
 apa
-8
+nya
 dan
 dalam
 karena
@@ -2247,68 +2247,68 @@ karena
 melakukan
 maka
 melakukan
-untuk
+d
 dalam
 s
 oleh
 .
 pada
 lebih
-saja
-saat
+hal
+maka
 dapat
 
 4
 a
-sebagai
+beberapa
 tidak
-sangat
+secara
 i
 banyak
 online
 4
 salah
 s
-mendapatkan
+mudah
 ini
 :
 menjadi
 
-nya
+dari
 situs
 ,
 dengan
-saja
+?
 dapat
 8
 dapat
-harus
+8
 salah
 ,
-uang
+memiliki
 kita
-judi
+/
 sudah
-hal
+beberapa
 anda
-?
+untuk
 orang
 tidak
-an
-waktu
+atau
+tersebut
 
 i
 di
-,
+tahun
 bisa
 yang
 "
-tahun
-t
+e
+hanya
 (
 dapat
 5
-sangat
+oleh
 oleh
 saya
 permainan
@@ -2321,15 +2321,15 @@ anda
 i
 ada
 indonesia
-a
+saat
 
 orang
 mereka
 /
 
-a
-semua
-dapat
+membuat
+dan
+masih
 k
 pada
 an
@@ -2337,75 +2337,75 @@ dalam
 )
 beberapa
 ?
-kami
+judi
 harus
 seperti
-juga
+?
 nya
 kan
 ini
-8
+1
 yang
-k
+seperti
 saya
 slot
 judi
-banyak
-yang
+8
+permainan
 harga
-an
+4
 dapat
-3
+sangat
 ke
 
 bermain
-cara
+tidak
 game
 akan
-
-
-itu
+ke
+dengan
+,
 
 1
-bisa
+hal
 
 dengan
 saat
-?
-oleh
+t
+seperti
 akan
 saya
-dapat
+s
 2
 dan
 yang
 s
 
 telah
-
+:
 itu
-dapat
+dalam
 cara
+yang
 
-kita
-.
+permainan
 di
 mendapatkan
 nya
-hal
+kami
 nya
 atau
 4
 harus
 yang
-?
+situs
 oleh
 akan
 beberapa
 beberapa
 secara
-ada
-menjadi
+orang
+banyak
 2
 menjadi
 2
@@ -2414,103 +2414,103 @@ i
 beberapa
 besar
 bahwa
-besar
-?
+dan
+saja
 sangat
-maka
+lain
 nya
-slot
+dari
 akan
 ,
 secara
-i
+1
 adalah
 an
 secara
-kamu
+judi
 bisa
 untuk
 
 dalam
 itu
 bisa
+karena
 d
-namun
-anda
+atau
 itu
 
 kami
-dengan
-mereka
+mendapatkan
+8
 cara
-hal
-ketika
+di
+pada
 saat
-ada
+adalah
 0
 tidak
 saat
-sudah
+mereka
 adalah
-kan
+memiliki
 dan
-tersebut
+di
 secara
 bisa
 :
-menggunakan
+u
 ,
 yang
-ini
+"
 dari
 sangat
 kami
-(
+dan
 anda
-rumah
-ketika
-bisa
-slot
+
+masih
+banyak
+e
 akan
 5
 anda
 permainan
 t
 besar
-oleh
+
 satu
-dengan
-cara
-semua
+i
+salah
+game
 t
 kamu
 lain
 anda
-e
+ini
 jika
-slot
-hal
-6
-baik
+salah
+4
+saat
+besar
 adalah
 akan
-kamu
-dapat
+kami
+?
 k
 8
-membuat
+?
 atau
 kan
 (
 di
-menggunakan
+cara
 poker
 dapat
 8
-a
-d
+k
+mereka
 bahwa
-ketika
+kan
 bisa
 cara
 tentang
@@ -2518,56 +2518,56 @@ mereka
 yang
 s
 yang
-kamu
-
+sudah
+atau
 dapat
 
-dalam
+dan
 untuk
 )
 bahwa
 akan
-(
+mereka
 lain
-jadi
+"
 tidak
-pada
+dan
 di
 dari
-saat
+kita
 satu
 akan
 0
 bisa
 
-,
+o
 di
 i
 itu
-juga
+kami
 ke
-u
-maka
-itu
+"
+harus
+juga
 uang
 secara
 1
 anda
+bisa
 besar
-kan
 6
 0
-8
+seperti
 4
-kamu
+waktu
 sangat
-lain
-satu
-saat
-kami
+bahwa
+e
+situs
+karena
 di
 kami
-oleh
+mereka
 pada
 i
 ?
@@ -2577,13 +2577,13 @@ i
 t
 u
 dalam
-saya
+8
 sudah
 itu
 )
-indonesia
+a
 lebih
-karena
+uang
 akan
 5
 game
@@ -2603,24 +2603,24 @@ satu
 itu
 (
 ?
-ke
-permainan
+
+kan
 tidak
 "
 dan
 saat
 .
-dapat
+seperti
 ?
-kamu
+,
 ada
-permainan
+kami
 nya
 sebagai
-karena
-hal
-karena
-judi
+)
+)
+/
+nya
 
 bisa
 online
@@ -2628,43 +2628,43 @@ namun
 ,
 an
 
-indonesia
-sangat
-apa
+judi
+saat
+uang
 kami
-"
-game
+telah
+telah
 hal
 lebih
 pada
 dapat
-sebagai
-maka
+permainan
+dengan
 juga
 juga
 di
-0
+a
 .
-orang
-/
-menjadi
-dengan
+s
+
+beberapa
+situs
 cara
-anda
+menggunakan
 5
-lain
+8
 
 
 situs
 juga
 2
 bisa
-4
+sebagai
 
-indonesia
+a
 saat
-adalah
-sebagai
+atau
+seperti
 bisa
 kami
 
@@ -2675,9 +2675,9 @@ anda
 situs
 2
 s
-lain
+maka
 
-sebagai
+ini
 adalah
 telah
 bisa
@@ -2690,11 +2690,11 @@ akan
 dari
 bisa
 dalam
-t
+pada
 satu
 yang
 4
-
+membuat
 orang
 akan
 menggunakan
@@ -2702,17 +2702,17 @@ mendapatkan
 indonesia
 mereka
 tidak
-
+semua
 sebagai
 akan
-membuat
-indonesia
+)
+-
 
 anda
-0
-m
+dengan
+apa
 "
-/
+situs
 kan
 :
 "
@@ -2723,49 +2723,49 @@ pada
 s
 0
 oleh
-ke
+permainan
 pada
 slot
 5
-i
--
 2
-saja
+baik
+2
+poker
 adalah
 -
-cara
+harus
 waktu
 kami
 sebagai
 hal
 
-5
-aplikasi
+kita
+6
 s
 yang
-indonesia
+tersebut
 di
-menjadi
-hanya
+3
+atau
 satu
 judi
 bisa
-memberikan
-,
+u
+9
 t
-dapat
+satu
 4
 )
-dengan
+7
 saya
 seperti
 
-bagi
+e
 baik
 permainan
-
+6
 banyak
-lain
+u
 e
 juga
 0
@@ -2773,8 +2773,8 @@ beberapa
 mereka
 hanya
 jadi
-saya
-itu
+permainan
+atau
 )
 untuk
 judi
@@ -2783,76 +2783,76 @@ hal
 a
 7
 ke
-sangat
+sudah
 hal
--
+2
 judi
--
+a
 untuk
 salah
-dalam
+u
 
 bisa
 3
-hanya
+a
 3
 pada
 -
-(
+sudah
 besar
 dari
 ,
-indonesia
+satu
 1
 untuk
 s
 kan
 di
-2
+.
 anda
 sangat
-bahwa
-lebih
-karena
+bisa
+akan
+secara
 
-besar
+mereka
 dari
 ,
 adalah
 0
 situs
-anda
-banyak
+/
+.
 
 ,
 uang
 karena
 nya
-3
+jika
 i
 dan
 bahwa
 ke
-harus
-semua
-permainan
+anda
+kamu
+dan
 1
-5
+menjadi
 .
 dengan
-orang
-dalam
+sudah
+-
 seperti
 beberapa
-"
-yang
-memiliki
+orang
+lain
+:
 i
 tidak
-7
-karena
+di
+hanya
 saya
-
+cara
 besar
 0
 e
@@ -2860,75 +2860,75 @@ di
 bahwa
 tidak
 cara
-waktu
+melakukan
 kami
-itu
+banyak
 karena
 adalah
-4
+cara
 judi
 3
 untuk
-an
-ada
-sebagai
 membuat
+k
+satu
+di
 saya
 bisa
-sangat
-saja
-dalam
+t
+kami
+juga
 di
-waktu
-bisa
+apa
+tidak
 situs
-lebih
 satu
+harus
 tidak
 tidak
 1
-salah
+8
 1
-sudah
-saya
+para
+memiliki
 orang
-7
+9
 anda
-/
+harus
 dengan
 -
 secara
 ,
 kami
-harus
+yang
 ini
 5
 2
 
 1
 nya
-s
-ke
+anda
+judi
 juga
 hanya
-4
-u
+menggunakan
+salah
 menjadi
 yang
-bisa
+yang
 8
-,
+lain
 ke
 online
 8
 saja
 adalah
-?
+d
 kamu
-karena
+sudah
 satu
 atau
-menjadi
+"
 tidak
 3
 memiliki
@@ -2939,41 +2939,41 @@ jika
 lebih
 karena
 di
-seperti
-dengan
-pada
+9
+bisa
+jadi
 online
 
 0
-kan
+
 satu
 3
 ,
+yang
+e
+memiliki
+/
 
-jika
-an
-ketika
-judi
 mereka
 ,
 saat
 ada
-baik
+indonesia
 kami
-3
+:
 pada
 untuk
-kan
+bermain
 sangat
-membuat
+secara
 ke
 karena
-slot
+u
 ,
 dapat
-harus
+secara
 dalam
-nya
+ini
 d
 i
 )
@@ -2981,84 +2981,84 @@ i
 9
 namun
 dapat
-permainan
+(
 saja
-jika
+poker
 di
 ingin
 untuk
 3
 judi
-a
+ingin
 di
 
 t
-slot
-maka
-u
+d
+masih
+
 untuk
 
-.
-pemain
-yang
+
+6
+satu
 hal
 semua
-pada
-.
+2
+t
 maka
 )
-dan
+anda
 lebih
-beberapa
+judi
 "
 3
 "
 menjadi
 dari
 pada
-"
+oleh
 satu
-d
+online
 ?
-s
+m
+bahwa
 tidak
-membuat
 saat
 orang
 5
 untuk
-judi
-nya
-yang
-memiliki
+:
+0
+tidak
+kan
 3
 oleh
 dengan
-memiliki
+situs
 
-adalah
+dari
 a
 kita
-banyak
+,
 ini
 /
-dunia
-maka
+cara
+ini
 harus
 baru
 pada
 bisa
 ,
-sebagai
+an
 8
 akan
 di
 untuk
 di
 harus
-judi
+
 dapat
-banyak
+maka
 dari
 .
 menjadi
@@ -3068,127 +3068,127 @@ t
 menjadi
 banyak
 oleh
-satu
+maka
 dalam
 yang
 anda
 di
-indonesia
+anda
 6
 adalah
 /
 sudah
 ,
-
-:
+semua
+(
 :
-menggunakan
+dari
 poker
 adalah
-karena
-salah
+cara
+kamu
 ada
 judi
 oleh
 ada
 atau
-oleh
-jika
-saya
-
+"
+kita
+di
+namun
 kamu
-ini
+6
 di
-bahwa
+9
 itu
 0
-judi
+2
 untuk
-tidak
+bisa
 itu
 -
-judi
+saja
 nya
-dengan
+tersebut
 
 satu
 ke
-oleh
+bisa
 karena
 0
 baik
 
 salah
 baru
-yang
+beberapa
 sebagai
-uang
+,
 ?
--
+an
 untuk
 tidak
 itu
 kami
-sebagai
+akan
 :
-situs
-hanya
-sebagai
+tahun
+karena
+indonesia
 lebih
-juga
-7
+atau
+
 banyak
 /
-slot
-juga
-
+itu
+indonesia
+k
 online
-satu
+anda
 ini
 tersebut
 hanya
-beberapa
+tidak
 ,
 memiliki
--
+akan
 )
-secara
-saat
+sebagai
+game
 anda
-ke
-9
+,
+sebagai
 
 tidak
 banyak
 ,
-6
+2
 adalah
-bisa
+e
 mereka
 jika
 online
-jika
+sudah
 
 menjadi
-
+-
 anda
 juga
 sebagai
-dan
-uang
+memiliki
+telah
 5
 u
 dalam
-,
+d
 saya
 2
 kan
 dari
-1
+-
 ini
 an
 kita
-anda
+pada
 memiliki
 adalah
 untuk
@@ -3199,49 +3199,49 @@ seperti
 untuk
 3
 cara
-anda
+-
 hal
-baik
+d
 7
-saja
+a
 game
 4
 dan
-an
-besar
+9
+melakukan
 .
 k
 k
 anda
-bisa
+e
 untuk
-akan
+dalam
 dengan
 a
 hanya
 (
-kami
+maka
 pada
 karena
 o
-menggunakan
+ada
 secara
 tidak
 sangat
 seperti
-bermain
+karena
 di
-uang
+game
 6
-/
+tersebut
 ada
-,
-:
-harga
-online
+lain
+kamu
+bermain
+3
 seperti
-nya
-.
+-
+judi
 5
 di
 online
@@ -3250,99 +3250,99 @@ dan
 i
 lain
 
-banyak
-e
+online
+"
 pemain
 akan
-sangat
+
 memiliki
-kamu
-lain
+kami
+hanya
 cara
 (
-oleh
+bermain
 4
-nya
-karena
+membuat
+jika
 
-maka
+lain
 0
 ,
 nya
-dan
-besar
-secara
+tahun
+tahun
+oleh
 1
 sudah
 3
-dan
+9
 banyak
 0
 2
 saja
-secara
+d
 pada
 di
 karena
 9
 satu
 semua
-dengan
-pada
+atau
+bahwa
 e
 banyak
-:
+kami
 orang
 tidak
+3
 judi
-permainan
-
+juga
 dapat
-situs
+indonesia
 yang
-
+dengan
 pemain
-ingin
-m
-besar
+apa
+akan
+k
 hal
 .
 ,
 telah
-beberapa
+hanya
 yang
 4
-kami
+ke
 anda
-2
 
-lebih
+atau
+maka
 menjadi
-anda
+dengan
 dan
 bermain
 satu
 besar
-slot
-para
+5
+uang
 3
-online
+i
 ?
 (
 anda
 ini
-
+situs
 dari
-e
-bahwa
+kami
 
+dengan
 permainan
-
-itu
+dapat
+0
 tidak
 )
-?
-
+secara
+dan
 sudah
 anda
 adalah
@@ -3353,38 +3353,38 @@ karena
 membuat
 5
 baik
-saat
+?
 menjadi
 
 adalah
-,
+orang
 lebih
 
 
 saat
 1
 dalam
-"
+2
 -
-oleh
-apa
-judi
-oleh
+yang
+kita
+bahwa
+kami
 juga
 lebih
 beberapa
-nya
+2
 dengan
 harus
 4
 mereka
 yang
-0
+yang
 s
 3
 0
 saya
-.
+saya
 pada
 dari
 anda
@@ -3392,10 +3392,10 @@ situs
 )
 di
 0
-di
+nya
 .
 e
-besar
+kan
 di
 dan
 bahwa
@@ -3403,104 +3403,104 @@ dari
 di
 besar
 anda
-semua
-saya
+akan
+8
 di
 akan
 tidak
 
-bahwa
+hal
 untuk
 7
 itu
 lebih
 baik
 secara
-dengan
-k
--
+bahwa
+secara
+kami
 5
 untuk
-t
+secara
 pada
 sangat
 lebih
-7
+(
 seperti
 akan
 :
-9
+bermain
 
-yang
+sudah
 
 cara
 dan
 karena
 seperti
-saat
+kamu
 hanya
 baik
-dari
-0
+slot
+atau
 itu
-namun
+dan
 yang
 tidak
-cara
-k
-bahwa
-anda
+orang
+saat
+dengan
+sangat
 anda
 yang
-bisa
+dan
 untuk
 nya
-"
+-
 banyak
 maka
-karena
-menjadi
-dengan
+judi
+dari
+namun
 1
 untuk
 permainan
 ,
-menjadi
-9
-slot
+anda
+lebih
+di
 )
-menjadi
-online
+memiliki
+ada
 
 situs
-satu
-)
+sudah
+atau
 .
--
-yang
-hanya
+
+anda
+beberapa
 -
 itu
 k
-secara
-kami
+setiap
+sangat
 5
 juga
-bagi
+dan
 dan
 dengan
 judi
-
-situs
+dengan
+sangat
 atau
 saat
 tidak
 .
-sangat
+:
 )
 ,
 dalam
-6
+cara
 anda
 kan
 ini
@@ -3514,21 +3514,21 @@ ke
 
 jika
 an
-t
+kita
 harus
 -
 kita
 mereka
 dalam
 hal
-g
-n
+di
+untuk
 .
 an
-mereka
+bisnis
 di
-hal
-d
+
+bermain
 melakukan
 menjadi
 
@@ -3540,34 +3540,34 @@ saat
 yang
 lebih
 seperti
-8
+orang
 ke
-atau
-sebagai
-nya
+-
+bagi
+untuk
 dapat
 lain
-1
+ini
 di
 dan
 8
-i
+anda
 jika
 sudah
-permainan
+4
 ,
 ini
 kita
 di
 pada
-cara
+tersebut
 dan
-permainan
 baik
+hal
 ,
 s
 pada
--
+akan
 sangat
 online
 .
@@ -3576,24 +3576,24 @@ kami
 .
 dari
 a
-poker
+/
 saya
-semua
+apa
 beberapa
 juga
 pada
 1
 (
-akan
-mereka
+kami
+karena
 
 1
 juga
 (
 satu
--
+adalah
+mereka
 mereka
-online
 yang
 -
 karena
@@ -3602,76 +3602,76 @@ sudah
 juga
 ingin
 /
-/
+lain
 pada
 judi
 2
 banyak
 
-mereka
+harus
 juga
-anda
+situs
 di
 judi
 5
-
+membuat
 .
 /
-:
+banyak
 1
+jika
+menjadi
 an
-memiliki
-an
-u
-.
+ke
+untuk
 bahwa
 banyak
 baik
 maka
 saja
-i
-judi
-)
-indonesia
+uang
+?
+satu
+semua
 tidak
 1
 6
 yang
 dengan
-pada
-satu
-adalah
-sebagai
+d
+
+dari
+5
 memiliki
 hal
-ada
-maka
-u
+untuk
+yang
+lain
 
 ke
 7
 ,
 (
-dengan
+juga
 pada
 3
 
-t
+dapat
 nya
 slot
-online
-jika
+i
+anda
 ?
-orang
-s
-banyak
-.
+0
+atau
+lebih
+bisa
 saat
-an
+dan
 ke
 membuat
-slot
-harus
+t
+oleh
 kami
 karena
 atau
@@ -3680,9 +3680,9 @@ sudah
 
 di
 online
-situs
+t
 1
-i
+a
 salah
 untuk
 nya
@@ -3699,22 +3699,22 @@ akan
 2
 saat
 sudah
-mereka
+anda
 4
 
-semua
-orang
+ke
+
 "
 untuk
 di
-2
+hanya
 tidak
 
 anda
-oleh
+melakukan
 "
-hal
-hal
+9
+4
 9
 di
 tersebut
@@ -3723,19 +3723,19 @@ tersebut
 waktu
 dengan
 ?
--
+jadi
 dapat
 itu
-dengan
-s
+(
+akan
 1
 i
 dengan
 i
-menggunakan
-,
+semua
+-
 lain
-sebagai
+"
 dengan
 situs
 dengan
@@ -3744,19 +3744,19 @@ i
 sangat
 untuk
 hal
-tidak
-besar
+orang
+u
 kita
 3
-?
+s
 anda
 dengan
-semua
-s
+dapat
+dapat
 salah
 
 u
 lebih
-slot
+bermain
 3
-hal
+p

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a1b965ed5a0be9f18a29eff195e5de1a3f18783eb847a4fb561d2bf10ea64d6e
-size 990345064
+oid sha256:ad9b7318e7b8b5041c032c286013cd3ad54b0bff650ae4af4a44bb2a9ad9f72f
+size 990348536

predict_results.json

@@ -1,12 +1,12 @@
 {
     "predict_gen_len": 1.0,
-    "predict_loss": 0.7455533742904663,
-    "predict_rouge1": 0.4378,
+    "predict_loss": 0.5292530655860901,
+    "predict_rouge1": 0.4599,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.4379,
-    "predict_rougeLsum": 0.4373,
-    "predict_runtime": 2410.7967,
+    "predict_rougeL": 0.4593,
+    "predict_rougeLsum": 0.4589,
+    "predict_runtime": 1669.4106,
     "predict_samples": 3762,
-    "predict_samples_per_second": 1.56,
-    "predict_steps_per_second": 0.049
+    "predict_samples_per_second": 2.253,
+    "predict_steps_per_second": 0.282
 }

train_results.json

@@ -1,9 +1,9 @@
 {
     "epoch": 5.0,
-    "total_flos": 4.883004680306688e+16,
-    "train_loss": 0.5858162473670036,
-    "train_runtime": 4319.7008,
+    "total_flos": 6.578740997709005e+16,
+    "train_loss": 0.3747134633901342,
+    "train_runtime": 9353.1788,
     "train_samples": 14262,
-    "train_samples_per_second": 16.508,
-    "train_steps_per_second": 1.032
+    "train_samples_per_second": 7.624,
+    "train_steps_per_second": 1.906
 }

trainer_state.json

@@ -3,128 +3,128 @@
   "best_model_checkpoint": null,
   "epoch": 5.0,
   "eval_steps": 500,
-  "global_step": 4460,
+  "global_step": 17830,
   "is_hyper_param_search": false,
   "is_local_process_zero": true,
   "is_world_process_zero": true,
   "log_history": [
     {
       "epoch": 1.0,
-      "grad_norm": 1.152057409286499,
-      "learning_rate": 0.0008,
-      "loss": 1.2189,
-      "step": 892
+      "grad_norm": 5.567347526550293,
+      "learning_rate": 4e-05,
+      "loss": 0.6282,
+      "step": 3566
     },
     {
       "epoch": 1.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.7751314043998718,
-      "eval_rouge1": 0.6416,
+      "eval_loss": 0.4718768894672394,
+      "eval_rouge1": 0.43,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.6379,
-      "eval_rougeLsum": 0.6405,
-      "eval_runtime": 35.9805,
-      "eval_samples_per_second": 20.845,
-      "eval_steps_per_second": 0.667,
-      "step": 892
+      "eval_rougeL": 0.4255,
+      "eval_rougeLsum": 0.4282,
+      "eval_runtime": 336.2537,
+      "eval_samples_per_second": 2.23,
+      "eval_steps_per_second": 0.28,
+      "step": 3566
     },
     {
       "epoch": 2.0,
-      "grad_norm": 1.0295380353927612,
-      "learning_rate": 0.0006,
-      "loss": 0.6795,
-      "step": 1784
+      "grad_norm": 2.3693532943725586,
+      "learning_rate": 3e-05,
+      "loss": 0.4301,
+      "step": 7132
     },
     {
       "epoch": 2.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.6535333395004272,
-      "eval_rouge1": 0.6574,
+      "eval_loss": 0.4727809727191925,
+      "eval_rouge1": 0.3754,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.6553,
-      "eval_rougeLsum": 0.6569,
-      "eval_runtime": 35.128,
-      "eval_samples_per_second": 21.35,
-      "eval_steps_per_second": 0.683,
-      "step": 1784
+      "eval_rougeL": 0.3711,
+      "eval_rougeLsum": 0.3719,
+      "eval_runtime": 337.4308,
+      "eval_samples_per_second": 2.223,
+      "eval_steps_per_second": 0.279,
+      "step": 7132
     },
     {
       "epoch": 3.0,
-      "grad_norm": 0.5640166401863098,
-      "learning_rate": 0.0004,
-      "loss": 0.4861,
-      "step": 2676
+      "grad_norm": 2.505617618560791,
+      "learning_rate": 2e-05,
+      "loss": 0.3336,
+      "step": 10698
     },
     {
       "epoch": 3.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.6219506859779358,
-      "eval_rouge1": 0.6717,
+      "eval_loss": 0.4631851613521576,
+      "eval_rouge1": 0.3806,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.6667,
-      "eval_rougeLsum": 0.6691,
-      "eval_runtime": 35.585,
-      "eval_samples_per_second": 21.076,
-      "eval_steps_per_second": 0.674,
-      "step": 2676
+      "eval_rougeL": 0.3777,
+      "eval_rougeLsum": 0.3808,
+      "eval_runtime": 335.5116,
+      "eval_samples_per_second": 2.235,
+      "eval_steps_per_second": 0.28,
+      "step": 10698
     },
     {
       "epoch": 4.0,
-      "grad_norm": 0.5083895921707153,
-      "learning_rate": 0.0002,
-      "loss": 0.3405,
-      "step": 3568
+      "grad_norm": 1.3223034143447876,
+      "learning_rate": 1e-05,
+      "loss": 0.2643,
+      "step": 14264
     },
     {
       "epoch": 4.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.6415079236030579,
-      "eval_rouge1": 0.6974,
+      "eval_loss": 0.49206262826919556,
+      "eval_rouge1": 0.3537,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.6969,
-      "eval_rougeLsum": 0.6948,
-      "eval_runtime": 34.3091,
-      "eval_samples_per_second": 21.86,
-      "eval_steps_per_second": 0.7,
-      "step": 3568
+      "eval_rougeL": 0.3512,
+      "eval_rougeLsum": 0.3514,
+      "eval_runtime": 333.89,
+      "eval_samples_per_second": 2.246,
+      "eval_steps_per_second": 0.282,
+      "step": 14264
     },
     {
       "epoch": 5.0,
-      "grad_norm": 0.669092059135437,
+      "grad_norm": 2.5732645988464355,
       "learning_rate": 0.0,
-      "loss": 0.2041,
-      "step": 4460
+      "loss": 0.2174,
+      "step": 17830
     },
     {
       "epoch": 5.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.7118794322013855,
-      "eval_rouge1": 0.677,
+      "eval_loss": 0.5082412362098694,
+      "eval_rouge1": 0.3572,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.6766,
-      "eval_rougeLsum": 0.6756,
-      "eval_runtime": 34.3825,
-      "eval_samples_per_second": 21.813,
-      "eval_steps_per_second": 0.698,
-      "step": 4460
+      "eval_rougeL": 0.3545,
+      "eval_rougeLsum": 0.3557,
+      "eval_runtime": 333.1622,
+      "eval_samples_per_second": 2.251,
+      "eval_steps_per_second": 0.282,
+      "step": 17830
     },
     {
       "epoch": 5.0,
-      "step": 4460,
-      "total_flos": 4.883004680306688e+16,
-      "train_loss": 0.5858162473670036,
-      "train_runtime": 4319.7008,
-      "train_samples_per_second": 16.508,
-      "train_steps_per_second": 1.032
+      "step": 17830,
+      "total_flos": 6.578740997709005e+16,
+      "train_loss": 0.3747134633901342,
+      "train_runtime": 9353.1788,
+      "train_samples_per_second": 7.624,
+      "train_steps_per_second": 1.906
     }
   ],
   "logging_steps": 500,
-  "max_steps": 4460,
+  "max_steps": 17830,
   "num_input_tokens_seen": 0,
   "num_train_epochs": 5,
   "save_steps": 500,
-  "total_flos": 4.883004680306688e+16,
-  "train_batch_size": 16,
+  "total_flos": 6.578740997709005e+16,
+  "train_batch_size": 4,
   "trial_name": null,
   "trial_params": null
 }

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:7c472aad5e6371b3568f57fdda5fb9ebab151488459970e3d10d23d6061b17b8
+oid sha256:b381901a3eaef842f68618297d92d5ca948fd8786ebdef4dd005ca46c8e2e81e
 size 5176