End of training

README.md

@@ -1,4 +1,6 @@
 ---
+language:
+- id
 license: mit
 base_model: indolem/indobert-base-uncased
 tags:

all_results.json

@@ -0,0 +1,25 @@
+{
+    "epoch": 20.0,
+    "eval_accuracy": 0.9497907949790795,
+    "eval_f1": 0.7840616966580978,
+    "eval_loss": 0.16442246735095978,
+    "eval_precision": 0.7142857142857143,
+    "eval_recall": 0.8689458689458689,
+    "eval_runtime": 0.9487,
+    "eval_samples": 187,
+    "eval_samples_per_second": 197.103,
+    "eval_steps_per_second": 3.162,
+    "predict_accuracy": 0.9521927710843373,
+    "predict_f1": 0.7328,
+    "predict_loss": 0.15064677596092224,
+    "predict_precision": 0.687,
+    "predict_recall": 0.7851428571428571,
+    "predict_runtime": 2.2774,
+    "predict_samples_per_second": 205.937,
+    "predict_steps_per_second": 3.513,
+    "train_loss": 0.3122263737444608,
+    "train_runtime": 246.7161,
+    "train_samples": 1688,
+    "train_samples_per_second": 136.837,
+    "train_steps_per_second": 8.593
+}

eval_results.json

@@ -0,0 +1,12 @@
+{
+    "epoch": 20.0,
+    "eval_accuracy": 0.9497907949790795,
+    "eval_f1": 0.7840616966580978,
+    "eval_loss": 0.16442246735095978,
+    "eval_precision": 0.7142857142857143,
+    "eval_recall": 0.8689458689458689,
+    "eval_runtime": 0.9487,
+    "eval_samples": 187,
+    "eval_samples_per_second": 197.103,
+    "eval_steps_per_second": 3.162
+}

predict_results.json

@@ -0,0 +1,10 @@
+{
+    "predict_accuracy": 0.9521927710843373,
+    "predict_f1": 0.7328,
+    "predict_loss": 0.15064677596092224,
+    "predict_precision": 0.687,
+    "predict_recall": 0.7851428571428571,
+    "predict_runtime": 2.2774,
+    "predict_samples_per_second": 205.937,
+    "predict_steps_per_second": 3.513
+}

predictions.txt

@@ -0,0 +1,469 @@
+O O O I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY I-QUANTITY O
+B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O B-PERSON O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O B-PERSON O O O B-PERSON O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O I-ORGANIZATION O O O O O O O O O O B-LOCATION I-LOCATION O O O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O
+O O O O O O O O
+O O O O B-LOCATION O O O O O O O O B-LOCATION O O B-PERSON I-PERSON O B-TIME O
+O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O O O O B-ORGANIZATION B-PERSON I-PERSON O B-TIME I-TIME I-TIME I-TIME O
+O B-PERSON O O O O O O O O O O O O O O O O O O O B-PERSON I-PERSON O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O B-ORGANIZATION O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+B-PERSON O B-LOCATION O O O O O O O O O O O O O O O O B-LOCATION O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O B-PERSON I-PERSON I-PERSON O O O O O O O O O O O O O O O O I-TIME O O B-PERSON O O O O
+O O O O O O O B-LOCATION B-LOCATION O O O O O O O B-LOCATION O
+O O B-PERSON O O O O O O
+O B-ORGANIZATION O O O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O B-QUANTITY I-QUANTITY O O O B-ORGANIZATION O I-LOCATION I-LOCATION O B-LOCATION O
+O B-PERSON O O O O O
+O O B-TIME O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON I-PERSON O B-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O B-QUANTITY I-QUANTITY O O O O O O O O
+B-PERSON O O O O O O B-LOCATION O O O B-TIME O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+B-LOCATION I-LOCATION B-LOCATION O O O O O O B-LOCATION O O O B-LOCATION O O O O B-LOCATION O O O O
+O B-PERSON O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O B-PERSON O O O O
+O O O O O O B-ORGANIZATION O O O O O O O O
+O O B-ORGANIZATION O O O O O O O O B-LOCATION O O O O O B-PERSON O O B-PERSON I-PERSON O O O O O
+O B-PERSON O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O B-ORGANIZATION O O O O O O
+O O O B-ORGANIZATION O B-ORGANIZATION O O O O O O O O O O B-PERSON O
+I-PERSON O O O O O O O O O O O O O I-QUANTITY O O I-QUANTITY O B-PERSON I-PERSON O O O O B-PERSON O O O O O O O B-LOCATION O O O O O O
+B-ORGANIZATION I-ORGANIZATION O O O B-PERSON I-PERSON O O O O O O O O O
+O O O B-ORGANIZATION I-ORGANIZATION O O O O O O O
+O O O B-PERSON I-PERSON O O O B-LOCATION O O O O O O O
+O O O B-PERSON I-PERSON O B-LOCATION O B-TIME I-TIME I-TIME I-TIME O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION O O
+O O O O O O O O O O O O
+O B-PERSON O O O B-PERSON O B-PERSON O O O O O O O O O O
+O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O
+O O O O O O O B-PERSON O O O O O O O O O O O B-LOCATION I-LOCATION I-LOCATION O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
+O O O B-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O
+O O O O O O O O O O O O I-QUANTITY O O O O O O O O O B-QUANTITY O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O B-ORGANIZATION O O O O O O O B-ORGANIZATION I-ORGANIZATION O O B-PERSON I-PERSON O O O O O O O O O O O O O O O O
+B-PERSON O O B-PERSON O O O O O O O O O B-ORGANIZATION O
+O O O O O O B-ORGANIZATION O
+O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O O O O
+O O O O O O B-LOCATION I-LOCATION I-LOCATION B-LOCATION I-LOCATION B-LOCATION I-LOCATION O B-TIME I-TIME I-TIME O O O O O O B-LOCATION I-LOCATION O O O O O O O O O O B-LOCATION I-LOCATION O
+O O O O O O O O O O O O B-LOCATION I-LOCATION O B-PERSON O O O O O O
+O O O O O O O O O O O B-LOCATION O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O I-LOCATION O O O O O O O O O O O O O O O O O O O O B-PERSON O O O B-QUANTITY O O O O
+O O O O B-QUANTITY I-QUANTITY B-QUANTITY I-QUANTITY O
+B-LOCATION O B-LOCATION O O O O O O O O O O O O O O O O O B-QUANTITY I-QUANTITY
+O O O O B-LOCATION O B-TIME O O O B-LOCATION O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O
+O O O O O O O O O I-TIME I-TIME I-TIME I-TIME I-TIME I-TIME I-TIME B-TIME O O O O O B-LOCATION O O O B-LOCATION O O O O B-LOCATION O
+I-ORGANIZATION I-ORGANIZATION O B-LOCATION O B-PERSON O
+O O B-LOCATION O O O B-LOCATION B-PERSON I-PERSON I-PERSON I-PERSON O O O O O O O O O O B-LOCATION O O O O O O O O O O O O
+O O O O O
+O B-LOCATION O O O O B-LOCATION O O O O B-LOCATION O O O O O B-LOCATION O O O O O O O
+O O B-PERSON O B-LOCATION O
+O O O O O O O B-ORGANIZATION O O O O O O O O O O O O O B-LOCATION O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+B-LOCATION O B-QUANTITY I-QUANTITY O O O O O B-QUANTITY I-QUANTITY O O B-LOCATION O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O B-PERSON O
+O O O B-PERSON I-PERSON O B-PERSON I-PERSON O O O O O O O O O O O O B-PERSON I-PERSON I-PERSON O O O O
+B-PERSON O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O B-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O B-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION O O O O O O O O
+O O O O O O O B-ORGANIZATION O O O
+O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O B-PERSON I-PERSON O O O
+O O O O O O O O O O O O O O O O O O O
+O B-PERSON O O O O O B-PERSON O O O O
+O B-LOCATION O O B-PERSON O O O O O O O O O O O B-LOCATION O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O O O O
+O B-PERSON O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+O O I-ORGANIZATION O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O
+B-ORGANIZATION O O O O O O O O O O B-PERSON O O B-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON O O B-PERSON I-PERSON I-PERSON I-PERSON O
+O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O B-LOCATION B-PERSON I-PERSON I-PERSON O O I-TIME I-TIME O
+O O O O O O O B-PERSON O
+B-LOCATION I-LOCATION O O O B-QUANTITY I-QUANTITY O O O O B-LOCATION O B-QUANTITY O O O O O O B-TIME I-TIME O O O O O O O O O O O O O O O
+O O O O O O O O O O O B-PERSON O O O O O O O
+B-PERSON O O B-LOCATION O O O O O O O O O O O
+B-ORGANIZATION I-ORGANIZATION O O O O O O O O
+O O B-LOCATION O O O O O O O O O B-ORGANIZATION O O O B-QUANTITY I-QUANTITY O O O O O O O O O O O
+O O O O B-ORGANIZATION O O O O O O O O O O B-LOCATION O O O O
+O O O O O O O O O O O O O O O O O
+B-PERSON O O O O O O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O
+O B-PERSON O O O O O B-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION O O O O O O O O
+B-PERSON O O O O O O O O O O O O
+B-PERSON O O O O O O I-ORGANIZATION O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O B-PERSON O O O O O O O O O O O
+O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O B-PERSON I-PERSON O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O
+O O O O O O O B-ORGANIZATION O O B-LOCATION I-LOCATION O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O
+O O O O O O O O B-LOCATION O O B-QUANTITY O O O B-LOCATION O O
+O O O O O O O O O O O O O O O O O O
+B-ORGANIZATION O O O O O O O O O O O O O O O O O
+O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-PERSON O O O O
+O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O O O
+O O O O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O O B-PERSON I-PERSON O O O O O B-PERSON O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-PERSON O O O B-TIME O O O B-ORGANIZATION I-ORGANIZATION O O
+O O O O O O O O O O O O O B-ORGANIZATION O B-ORGANIZATION O O B-ORGANIZATION O
+O O O O O O O O O
+O O O O O O O O O
+O O O O B-PERSON O O O O O O O O O O O B-ORGANIZATION B-PERSON I-PERSON O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O B-PERSON I-PERSON O
+O B-ORGANIZATION I-ORGANIZATION B-ORGANIZATION B-PERSON O O O O O O O O O O O
+O B-TIME O O O O O O O O O O O O B-LOCATION O
+O O O O O O O O O O O O O O O O B-PERSON O O O I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O B-QUANTITY I-QUANTITY O
+O O O O O O O B-PERSON O O O O
+O O O O O O B-TIME O O B-QUANTITY I-QUANTITY O O O O O O O O O O B-PERSON O O O O O O O B-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O O B-LOCATION B-ORGANIZATION I-ORGANIZATION O I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
+B-PERSON O O O O O B-PERSON I-PERSON O
+O O O O O O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O B-LOCATION O O O O O O O
+O O O O O
+O O O O O O O O B-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-PERSON I-PERSON I-PERSON O O O O O O O O O O
+B-PERSON O O O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O B-QUANTITY I-QUANTITY O
+O O O O I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-TIME O O O O O O O O O O O O
+O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O
+O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O B-PERSON I-PERSON I-PERSON O O O O O O B-LOCATION I-ORGANIZATION O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-LOCATION B-LOCATION O O O O O O B-LOCATION O B-LOCATION O B-LOCATION O B-TIME O O O O O O O O O O O O B-PERSON I-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION O O O O O O O O O O O O O O O B-LOCATION O O O O O O O O O O O O O O O O B-LOCATION O
+O B-PERSON O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION I-LOCATION O O O B-PERSON O
+O O O O O O B-LOCATION O B-LOCATION I-LOCATION O B-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME I-TIME O O O O O O O O O O O O
+O O O B-ORGANIZATION I-ORGANIZATION O B-LOCATION I-LOCATION O B-LOCATION I-LOCATION O B-LOCATION I-LOCATION O B-PERSON I-PERSON O O B-ORGANIZATION I-ORGANIZATION O O O O O O B-LOCATION I-LOCATION O B-LOCATION I-LOCATION O O B-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O B-TIME O
+O O O B-LOCATION O B-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY O O
+O O O O O O B-PERSON I-PERSON O B-PERSON O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O O O
+O O O O O B-ORGANIZATION O O O B-PERSON I-PERSON O O O O O O O B-ORGANIZATION O O B-QUANTITY I-QUANTITY O B-ORGANIZATION O B-PERSON O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O B-LOCATION O O O O O O O O O O O O O O B-ORGANIZATION O O O O O O B-PERSON O
+O O O O B-ORGANIZATION O O B-QUANTITY O O O O O O O O O O O O O O O O O O O O O O O O O
+I-PERSON O O O B-PERSON I-PERSON O O O O O O O
+B-PERSON O O O I-TIME O O O O O O O B-LOCATION O
+O O O B-ORGANIZATION O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O B-PERSON I-PERSON O B-PERSON O O O O O B-TIME O B-TIME O O
+O O O O O O O O O O O O B-PERSON O O O O O O O O O O O O O O O O O O O O
+B-PERSON O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-PERSON O O O O O B-ORGANIZATION O O O O O O O B-ORGANIZATION O O
+O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O O
+O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON I-PERSON O O O O O B-LOCATION O O B-LOCATION O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O B-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY O O B-TIME O O O B-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY O O O B-TIME O B-QUANTITY I-QUANTITY O O O B-TIME I-TIME O
+O O O I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O I-ORGANIZATION O B-LOCATION O O O O
+B-PERSON O O O O O O O O O O O O O O O O O O
+B-PERSON O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O B-QUANTITY B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY B-QUANTITY I-QUANTITY O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY B-QUANTITY I-QUANTITY O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY B-QUANTITY I-QUANTITY O
+O O O O O O O O O O O O O O O O O O
+O O O O O O B-PERSON I-PERSON O O O O O O O B-TIME I-TIME I-TIME O O O B-ORGANIZATION I-ORGANIZATION O
+B-PERSON I-PERSON O O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION O O
+O O O O O O O O O O O O O
+O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O B-TIME I-TIME O B-TIME I-TIME O O O O O O O O B-ORGANIZATION I-ORGANIZATION O
+B-PERSON O O O B-PERSON I-PERSON O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O O B-LOCATION O O O O O O O I-QUANTITY O B-QUANTITY I-QUANTITY O O O I-QUANTITY O
+B-ORGANIZATION O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O
+O O O O O O O O O B-LOCATION O O O O B-PERSON I-PERSON O
+O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O B-LOCATION O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O B-LOCATION O
+B-PERSON O O O B-PERSON O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O I-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY O
+O O O O O O O B-ORGANIZATION O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON I-PERSON O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O B-PERSON O
+O O O O O O O O O O B-QUANTITY I-QUANTITY O O O O
+O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O B-LOCATION B-PERSON I-PERSON O O O O I-ORGANIZATION O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O
+O O B-PERSON O O O O O O
+O O O O O O B-TIME O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O B-ORGANIZATION O O B-PERSON O I-PERSON O
+O O O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O
+O O O O B-PERSON O O O B-ORGANIZATION O O O O O O O O O O O O O O O O O O
+O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON O O O O O O O O
+B-PERSON I-PERSON O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION O
+O O O O O O O O B-PERSON O O B-PERSON O B-PERSON O
+O O O O O O O O O O O O O O O O O O O O B-PERSON O O O O O O O
+B-PERSON O O O O O O O O O O O O O O
+O O O O O O B-PERSON I-PERSON O O O O O O O O O O O O
+O O O O
+B-PERSON O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O B-LOCATION O O O O O B-LOCATION O B-LOCATION O B-LOCATION O B-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY I-QUANTITY O
+B-PERSON O O O O O O O O O O O
+O O I-TIME I-TIME I-TIME O I-PERSON I-PERSON I-PERSON O O O O O O O B-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON I-PERSON O O O O O O
+O O O O O B-PERSON O O O O O O O O O O
+O O O O O O O O O O O
+O O O O O O O
+O O O O B-LOCATION O O O O O O O O O O O O O O O O O O O O
+O O O O B-QUANTITY B-QUANTITY I-QUANTITY I-QUANTITY O O B-QUANTITY B-QUANTITY I-QUANTITY I-QUANTITY O
+O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O B-PERSON O
+O O O O O B-PERSON I-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON O
+O O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+B-PERSON O O O B-ORGANIZATION O O O O O B-ORGANIZATION O O O O O O O O B-ORGANIZATION O B-PERSON I-PERSON O O O O O O
+O O O O O O O O O O O B-PERSON O O O B-PERSON O O O O O O O O O O O O O O B-ORGANIZATION O B-ORGANIZATION O O O B-PERSON O
+B-PERSON O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O I-ORGANIZATION O O O B-ORGANIZATION O O O O O O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-PERSON O O O O O O O O O O
+B-PERSON O B-PERSON O O O O O O O O O B-PERSON I-PERSON O B-PERSON I-PERSON O O O O
+O O O O O O O
+O O O B-ORGANIZATION O O O O O O B-PERSON O O O O O
+O O O O O O
+O O O O O O B-PERSON O O O O O O I-TIME O
+B-ORGANIZATION O O O O O O O O O O O B-PERSON O
+O O O B-LOCATION O O O O O O O O O B-LOCATION I-LOCATION O O O
+O B-TIME I-TIME I-TIME O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O B-TIME O
+O O B-PERSON O O O O O O O B-PERSON O O O O O O
+O O O O O B-ORGANIZATION O B-ORGANIZATION O O O O O O O O O O O O B-PERSON O O O B-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME O
+O B-LOCATION I-ORGANIZATION I-ORGANIZATION O B-QUANTITY B-QUANTITY I-QUANTITY O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O B-LOCATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY O O O O
+O O B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O
+O O O B-PERSON O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION O
+O O B-PERSON O B-ORGANIZATION O O O O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O B-PERSON I-PERSON O O O B-ORGANIZATION B-PERSON I-PERSON O B-LOCATION I-LOCATION O
+O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O B-ORGANIZATION O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O B-TIME O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O I-ORGANIZATION O
+O O O O
+B-PERSON O O O O O O O O O O O O O
+B-LOCATION O O O O O O O O O O O O B-LOCATION O O O O O O O O O
+O O O O O B-PERSON O O O O O O O O O O
+O O O O O B-ORGANIZATION O B-PERSON O O O O O O O B-PERSON I-PERSON O O O O O B-LOCATION O B-ORGANIZATION O O O O O O O O O O O B-ORGANIZATION O O O B-PERSON O
+O O O O O O O O O O O O
+O O O O O O O O O O B-PERSON O O O O
+O O O O O O O O O O O O
+O O O O O O O O O O O O
+O O O O B-PERSON I-PERSON O O O
+B-LOCATION I-LOCATION O B-LOCATION I-LOCATION B-TIME O O O O O O O O B-LOCATION O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O B-LOCATION O B-ORGANIZATION O O O O O O O O
+O O O O O O O O O B-ORGANIZATION O O I-ORGANIZATION I-ORGANIZATION O O O O B-PERSON O O O
+O O O O O O O O O
+O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O
+O B-ORGANIZATION I-ORGANIZATION O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O
+O O O O O O O O O O O O B-QUANTITY I-QUANTITY O O O B-QUANTITY I-QUANTITY O O O O O O O O O O B-TIME O
+B-PERSON O B-ORGANIZATION O O O O O O O O O B-PERSON I-PERSON O B-PERSON I-PERSON O
+O B-LOCATION O O I-TIME O O B-TIME O O B-PERSON O B-PERSON I-PERSON O O B-LOCATION O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O B-LOCATION O B-TIME O O O O O O O O O B-LOCATION O O O O O O O O O O B-LOCATION I-LOCATION O O O O
+O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O B-QUANTITY I-QUANTITY O O O O O
+O O O O O O O O O O B-PERSON I-PERSON O O O O B-PERSON O O O O B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O B-PERSON O O O O O O O O O O O O O O O O O O O O
+O O O O O O B-PERSON O O O O O O I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O O B-LOCATION I-LOCATION O O O B-QUANTITY I-QUANTITY I-QUANTITY O O B-TIME O O B-QUANTITY I-QUANTITY O O B-TIME O O B-QUANTITY I-QUANTITY I-QUANTITY O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O B-PERSON I-PERSON O O O O O O O
+O O B-LOCATION O O O O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O B-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O B-LOCATION O O O O O B-LOCATION O
+O B-PERSON I-PERSON O O O O O O O O O O O
+B-PERSON I-PERSON I-PERSON O O O O O O O O O O I-ORGANIZATION O O O O O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O B-PERSON O
+B-PERSON O O O O O O O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O B-PERSON I-PERSON O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O
+B-PERSON O O O O O O O O O O O
+O O O B-LOCATION B-TIME O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O B-LOCATION O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
+O O B-LOCATION O O O O B-LOCATION O O O O B-LOCATION O O B-QUANTITY I-QUANTITY O
+O O O O O O O B-ORGANIZATION O O O O O O O B-ORGANIZATION I-ORGANIZATION O
+B-PERSON O O O O B-LOCATION O B-QUANTITY O O O B-QUANTITY I-QUANTITY O O O O O O O B-QUANTITY I-QUANTITY B-QUANTITY I-QUANTITY O O O O O O O O
+O O B-PERSON I-PERSON O O O O
+O O O I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O B-LOCATION I-LOCATION O B-LOCATION O O O O O O O O O B-QUANTITY I-QUANTITY O
+O O O O
+O O I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O B-TIME O
+O O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O
+B-LOCATION O O O O O O O B-LOCATION O B-LOCATION O O O O O O O B-LOCATION O O O B-PERSON I-PERSON I-PERSON I-PERSON O
+O O B-LOCATION O O O B-PERSON I-PERSON O O O O O O O O O O O O B-PERSON I-PERSON O
+B-PERSON O O O O O O O O O B-PERSON I-PERSON O
+O O O O O O O O O O O O O O O O O O O O O O B-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O O O B-PERSON O
+O O O O O O O O O O O O O O O O O O O O
+O O O O B-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME I-TIME O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-LOCATION O B-PERSON I-PERSON O O O B-ORGANIZATION O B-LOCATION O O O O O O O O B-LOCATION O O O B-LOCATION O
+O O O O O O O O O O O O O O O
+O O B-TIME O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-PERSON I-PERSON O O O O O B-PERSON O O O O B-LOCATION I-LOCATION B-LOCATION I-LOCATION O B-TIME I-TIME O
+O O O O O I-ORGANIZATION I-ORGANIZATION O B-LOCATION I-LOCATION I-ORGANIZATION I-LOCATION I-LOCATION O B-TIME O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O I-LOCATION I-LOCATION O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O
+O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O
+O B-ORGANIZATION O O O B-PERSON O O O O O O I-TIME O O
+O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O B-PERSON I-PERSON O O O B-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON O
+O O O O O O O O
+O O O O O
+O O O O O O O O B-QUANTITY B-QUANTITY I-QUANTITY O
+O O O O O O O B-PERSON B-PERSON O O O O O O O O O O
+O O B-LOCATION O B-QUANTITY I-QUANTITY O O O B-LOCATION O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-ORGANIZATION O O O O O O O O O O O O B-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O B-PERSON O O O O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O O B-PERSON O O O O O O O O O O O O O
+B-LOCATION O O O O O O O O O O O
+B-PERSON O O O B-LOCATION O O O O O O O O O O O O O O O
+O O O O B-ORGANIZATION O O O O B-PERSON O O O O O O O O O O O
+O O O O O B-LOCATION O O O O O
+O O B-LOCATION O O B-LOCATION I-LOCATION O O O O O O O
+O O O O B-PERSON O O O O O O O O O O O O O O O O O
+O O O O B-LOCATION O B-PERSON O B-TIME O O O B-LOCATION I-LOCATION O O O O O O O O O O O O O O O O B-LOCATION O O O O O
+O O O B-LOCATION I-LOCATION O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-LOCATION O O O O B-LOCATION O
+O O O O O O O O O O O
+O O I-ORGANIZATION O O B-PERSON I-PERSON O O O O O O O O O O O
+O B-PERSON O O O O O O O O O O O B-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON O
+O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY I-QUANTITY O B-ORGANIZATION O O O O O O O O O O O O O O O O
+O O O B-LOCATION O B-LOCATION O O O O O O O O O O O B-PERSON B-PERSON I-PERSON O
+O O O O O O O O O O O O O O O O O O
+O O B-LOCATION I-LOCATION O O O B-PERSON O O O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O
+O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION B-LOCATION O O O O O
+O O B-TIME I-TIME O O O O O O O O O O O O O O O O O O O O O O O O O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-LOCATION O O O O O O O O O O O O
+O O O O O O O B-PERSON I-PERSON I-PERSON O O O O O B-ORGANIZATION O O O O O
+O O B-LOCATION O B-ORGANIZATION O O O O O
+B-PERSON O O O O O O O I-ORGANIZATION O O B-PERSON I-PERSON O O O O O O O B-ORGANIZATION O O O
+O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O B-QUANTITY I-QUANTITY O O O O O O O O O O O O O O O O O
+O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O
+O O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION O O B-LOCATION O O O O O O O O O O O O O O O
+O O O O O O O O B-ORGANIZATION O O O O O
+O B-ORGANIZATION I-ORGANIZATION B-LOCATION I-LOCATION O B-PERSON I-PERSON O O O O O O O O O O O O O O O O O B-TIME O
+B-PERSON O O O O B-PERSON O O O O B-PERSON O O B-QUANTITY I-QUANTITY O O O O
+O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION O O O O O O O
+O O B-PERSON O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O B-PERSON O O O B-TIME I-TIME I-TIME I-TIME O B-ORGANIZATION O O B-PERSON O O O O O O O O O O O O O O O O O O O O O O B-PERSON I-PERSON O O B-ORGANIZATION O O O O O
+O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O B-ORGANIZATION O O O O O B-QUANTITY I-QUANTITY O O B-LOCATION O O O B-LOCATION O O O O B-LOCATION O O O O
+O O O O O B-PERSON I-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O B-PERSON O O O O O O O O O
+B-LOCATION O O O O O O B-TIME O O O O O O O O O O O O O O O O
+O O O O O O B-PERSON I-PERSON I-PERSON O O O O O B-PERSON I-PERSON O O O O O O O B-PERSON I-PERSON O O O O O O B-PERSON I-PERSON O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-ORGANIZATION I-ORGANIZATION B-LOCATION I-LOCATION O O O O O B-ORGANIZATION O B-PERSON I-PERSON O
+O O O O B-PERSON I-PERSON O O O O O O O O O O
+O O O O O O O I-LOCATION O O O O O O
+O O O O B-ORGANIZATION O B-QUANTITY I-QUANTITY O O O O O O O O O O O B-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY O O O O B-LOCATION O B-LOCATION O B-LOCATION O O B-LOCATION I-LOCATION O
+O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
+O O O B-QUANTITY I-QUANTITY O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-ORGANIZATION O O O O O O O O O O
+O B-QUANTITY I-QUANTITY O O B-LOCATION O O O O B-TIME O O O O O O O O O O O O B-LOCATION O O O O O O O O O O O B-LOCATION O O O O O B-LOCATION O O O O O
+O O O O O O O O O I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O O O O O O
+B-PERSON O O O O B-PERSON I-PERSON O O B-TIME O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O B-PERSON O
+O O I-ORGANIZATION O B-PERSON B-PERSON I-PERSON O O O O O O O O O I-ORGANIZATION O O O B-LOCATION O B-TIME O O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O O O O O B-QUANTITY O
+O O O O O O O O O
+O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION O O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O B-PERSON I-PERSON O O O O
+O O O O O O O O B-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON I-PERSON I-PERSON O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O O
+B-PERSON O O O O O B-LOCATION B-LOCATION O B-LOCATION O B-TIME O
+O B-LOCATION O O O O O O O O O O O O O
+O O B-ORGANIZATION O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
+O O O O O O O O O O O O O O O O O
+O O O O B-TIME I-TIME I-TIME I-TIME O
+B-PERSON O O O O O O O O O
+O O O O I-QUANTITY I-QUANTITY O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O
+O O O O O O O O O O O O O O O O O O O O
+O O O B-PERSON I-PERSON O I-PERSON O O O O O B-PERSON O O O O B-PERSON O O O O O O O B-PERSON I-PERSON O O O O B-PERSON I-PERSON I-PERSON O O O O O O O
+O O O O O O O O O O O B-TIME B-TIME O O O B-LOCATION B-LOCATION O O O O B-ORGANIZATION O
+B-QUANTITY I-QUANTITY I-QUANTITY O O O O O O O B-QUANTITY B-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY O
+O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O B-PERSON O
+O O O O B-LOCATION O O O B-QUANTITY O B-LOCATION O O O O B-LOCATION O O
+O O O O O O O O O O O O O O
+O O O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION O O O O O
+O O O O O O B-QUANTITY I-QUANTITY O O O O B-TIME O O
+O O O O O O O O O O O O O
+O O O B-ORGANIZATION I-ORGANIZATION O O O O O O B-PERSON O O O O
+O B-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O O O O B-QUANTITY I-QUANTITY O O O O O O O O O O O O O O O B-LOCATION O O O O
+O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O
+O O B-PERSON O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O O O O O O O O O B-ORGANIZATION O O O O
+B-TIME I-TIME O O O O B-LOCATION O B-LOCATION I-LOCATION O
+O O O O O O O B-PERSON I-PERSON O O O O O B-PERSON I-PERSON O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O B-ORGANIZATION O B-PERSON I-PERSON O O O O O O O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O
+O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O B-QUANTITY I-QUANTITY O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
+O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O B-QUANTITY I-QUANTITY O O O B-LOCATION O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O I-ORGANIZATION I-ORGANIZATION O O O
+O O O O O O O O O O O O O O O
+O B-PERSON O O O B-PERSON O O O O O O O O O O O O O
+O O B-LOCATION O B-LOCATION O O O
+B-QUANTITY I-QUANTITY O O O O O O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O B-LOCATION O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O O O O O B-LOCATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O B-PERSON I-PERSON O B-PERSON I-PERSON O B-PERSON I-PERSON O B-PERSON I-PERSON O O B-PERSON I-PERSON O O O O O O O O O O O O O O O B-ORGANIZATION B-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON I-PERSON O O O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O O B-PERSON I-PERSON O O O O B-ORGANIZATION O
+O O O O O O O O O O O O O O O O O O O O O
+O O B-PERSON O O O O O O O O O O
+O O O O O B-QUANTITY I-QUANTITY O I-QUANTITY O B-QUANTITY I-QUANTITY O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+B-LOCATION O O O O B-LOCATION O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O B-ORGANIZATION O O O O O B-PERSON O O O B-TIME I-TIME I-TIME I-TIME O
+B-ORGANIZATION O O O O O O O O
+O O O O O O B-PERSON I-PERSON O O O O O O O O O O O O O B-PERSON O
+O O B-QUANTITY I-QUANTITY O O O O O B-LOCATION O O
+O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O B-ORGANIZATION O O B-PERSON I-PERSON O
+O O O O O O O O O O O
+O O O O B-ORGANIZATION I-ORGANIZATION O O B-PERSON O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O B-TIME I-TIME I-TIME O O O O O
+O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O B-PERSON O O O O O O O O O O O O O O
+O O O B-PERSON O O O O O O I-PERSON O O O O O O O O O
+O O O B-PERSON I-PERSON O O B-PERSON I-PERSON O O O O O O O O O O O O O
+O O O O O O O O O
+B-PERSON O O O O O O O O O O O
+O O O O O O O B-PERSON I-PERSON O B-LOCATION I-LOCATION O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O B-PERSON B-PERSON O O O O
+B-PERSON O O O O B-ORGANIZATION I-ORGANIZATION O O O O O O
+O O O O O O O O B-QUANTITY I-QUANTITY O O O O
+O O O O O O O O O O O O
+B-PERSON O O O O O O O O O O
+O O O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O O O O O O O I-PERSON B-PERSON I-PERSON O B-LOCATION O B-TIME O
+O O O O O O O O O O O O O O
+O O O O B-QUANTITY O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O B-PERSON O O B-PERSON O O O O O O B-TIME O O O O O O O O O O O O O O O O O
+B-PERSON O O O O O O O O O O
+O O O O O O B-LOCATION O O O O O B-LOCATION O O O O O O O O I-ORGANIZATION I-ORGANIZATION O I-ORGANIZATION O B-TIME O O
+O B-PERSON O O
+O O O O O O B-LOCATION O B-PERSON I-PERSON O O O O O O B-PERSON O
+O O O O O O O O O O O O O
+O O O O B-ORGANIZATION O O O O O B-LOCATION O

runs/May27_05-39-56_indolem-petl-vm/events.out.tfevents.1716788656.indolem-petl-vm.3345068.1

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:09376bcc84d8d1d2b4d76b04bbfc3b389a1e8366083c3d7b8e259c22df0e9ea1
+size 560

train_results.json

@@ -0,0 +1,8 @@
+{
+    "epoch": 20.0,
+    "train_loss": 0.3122263737444608,
+    "train_runtime": 246.7161,
+    "train_samples": 1688,
+    "train_samples_per_second": 136.837,
+    "train_steps_per_second": 8.593
+}

trainer_state.json

@@ -0,0 +1,410 @@
+{
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 20.0,
+  "eval_steps": 500,
+  "global_step": 2120,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 1.0,
+      "grad_norm": 1.4943004846572876,
+      "learning_rate": 4.75e-05,
+      "loss": 1.1516,
+      "step": 106
+    },
+    {
+      "epoch": 1.0,
+      "eval_accuracy": 0.8365739601279842,
+      "eval_f1": 0.0,
+      "eval_loss": 0.7191152572631836,
+      "eval_precision": 0.0,
+      "eval_recall": 0.0,
+      "eval_runtime": 0.9353,
+      "eval_samples_per_second": 199.942,
+      "eval_steps_per_second": 3.208,
+      "step": 106
+    },
+    {
+      "epoch": 2.0,
+      "grad_norm": 1.1153762340545654,
+      "learning_rate": 4.5e-05,
+      "loss": 0.6846,
+      "step": 212
+    },
+    {
+      "epoch": 2.0,
+      "eval_accuracy": 0.8382968250061531,
+      "eval_f1": 0.005524861878453039,
+      "eval_loss": 0.6016213893890381,
+      "eval_precision": 0.09090909090909091,
+      "eval_recall": 0.002849002849002849,
+      "eval_runtime": 0.9811,
+      "eval_samples_per_second": 190.602,
+      "eval_steps_per_second": 3.058,
+      "step": 212
+    },
+    {
+      "epoch": 3.0,
+      "grad_norm": 1.1631733179092407,
+      "learning_rate": 4.25e-05,
+      "loss": 0.5728,
+      "step": 318
+    },
+    {
+      "epoch": 3.0,
+      "eval_accuracy": 0.8535564853556485,
+      "eval_f1": 0.08314087759815242,
+      "eval_loss": 0.4864825904369354,
+      "eval_precision": 0.21951219512195122,
+      "eval_recall": 0.05128205128205128,
+      "eval_runtime": 1.0087,
+      "eval_samples_per_second": 185.396,
+      "eval_steps_per_second": 2.974,
+      "step": 318
+    },
+    {
+      "epoch": 4.0,
+      "grad_norm": 1.203258752822876,
+      "learning_rate": 4e-05,
+      "loss": 0.4602,
+      "step": 424
+    },
+    {
+      "epoch": 4.0,
+      "eval_accuracy": 0.8875215358109771,
+      "eval_f1": 0.33726812816188867,
+      "eval_loss": 0.377240926027298,
+      "eval_precision": 0.4132231404958678,
+      "eval_recall": 0.2849002849002849,
+      "eval_runtime": 0.9935,
+      "eval_samples_per_second": 188.223,
+      "eval_steps_per_second": 3.02,
+      "step": 424
+    },
+    {
+      "epoch": 5.0,
+      "grad_norm": 1.6261621713638306,
+      "learning_rate": 3.7500000000000003e-05,
+      "loss": 0.3718,
+      "step": 530
+    },
+    {
+      "epoch": 5.0,
+      "eval_accuracy": 0.922224956928378,
+      "eval_f1": 0.5738161559888578,
+      "eval_loss": 0.3012913167476654,
+      "eval_precision": 0.5613079019073569,
+      "eval_recall": 0.5868945868945868,
+      "eval_runtime": 0.9478,
+      "eval_samples_per_second": 197.304,
+      "eval_steps_per_second": 3.165,
+      "step": 530
+    },
+    {
+      "epoch": 6.0,
+      "grad_norm": 1.7244807481765747,
+      "learning_rate": 3.5e-05,
+      "loss": 0.3063,
+      "step": 636
+    },
+    {
+      "epoch": 6.0,
+      "eval_accuracy": 0.932316022643367,
+      "eval_f1": 0.6657997399219766,
+      "eval_loss": 0.2611382007598877,
+      "eval_precision": 0.6124401913875598,
+      "eval_recall": 0.7293447293447294,
+      "eval_runtime": 0.9391,
+      "eval_samples_per_second": 199.133,
+      "eval_steps_per_second": 3.195,
+      "step": 636
+    },
+    {
+      "epoch": 7.0,
+      "grad_norm": 1.4275224208831787,
+      "learning_rate": 3.2500000000000004e-05,
+      "loss": 0.2645,
+      "step": 742
+    },
+    {
+      "epoch": 7.0,
+      "eval_accuracy": 0.9367462466158011,
+      "eval_f1": 0.6924066924066924,
+      "eval_loss": 0.22716771066188812,
+      "eval_precision": 0.6314553990610329,
+      "eval_recall": 0.7663817663817664,
+      "eval_runtime": 0.945,
+      "eval_samples_per_second": 197.89,
+      "eval_steps_per_second": 3.175,
+      "step": 742
+    },
+    {
+      "epoch": 8.0,
+      "grad_norm": 1.1031521558761597,
+      "learning_rate": 3e-05,
+      "loss": 0.2422,
+      "step": 848
+    },
+    {
+      "epoch": 8.0,
+      "eval_accuracy": 0.9399458528181147,
+      "eval_f1": 0.6998722860791826,
+      "eval_loss": 0.2092607468366623,
+      "eval_precision": 0.6342592592592593,
+      "eval_recall": 0.7806267806267806,
+      "eval_runtime": 0.9659,
+      "eval_samples_per_second": 193.598,
+      "eval_steps_per_second": 3.106,
+      "step": 848
+    },
+    {
+      "epoch": 9.0,
+      "grad_norm": 2.220327854156494,
+      "learning_rate": 2.7500000000000004e-05,
+      "loss": 0.2207,
+      "step": 954
+    },
+    {
+      "epoch": 9.0,
+      "eval_accuracy": 0.9416687176962836,
+      "eval_f1": 0.7119078104993597,
+      "eval_loss": 0.1959993541240692,
+      "eval_precision": 0.6465116279069767,
+      "eval_recall": 0.792022792022792,
+      "eval_runtime": 0.9705,
+      "eval_samples_per_second": 192.682,
+      "eval_steps_per_second": 3.091,
+      "step": 954
+    },
+    {
+      "epoch": 10.0,
+      "grad_norm": 0.892422080039978,
+      "learning_rate": 2.5e-05,
+      "loss": 0.2079,
+      "step": 1060
+    },
+    {
+      "epoch": 10.0,
+      "eval_accuracy": 0.94265321191238,
+      "eval_f1": 0.7338501291989664,
+      "eval_loss": 0.18733084201812744,
+      "eval_precision": 0.6713947990543735,
+      "eval_recall": 0.8091168091168092,
+      "eval_runtime": 0.9577,
+      "eval_samples_per_second": 195.251,
+      "eval_steps_per_second": 3.132,
+      "step": 1060
+    },
+    {
+      "epoch": 11.0,
+      "grad_norm": 1.270814299583435,
+      "learning_rate": 2.25e-05,
+      "loss": 0.1973,
+      "step": 1166
+    },
+    {
+      "epoch": 11.0,
+      "eval_accuracy": 0.9438838296825006,
+      "eval_f1": 0.7384615384615384,
+      "eval_loss": 0.17914365231990814,
+      "eval_precision": 0.6713286713286714,
+      "eval_recall": 0.8205128205128205,
+      "eval_runtime": 0.9501,
+      "eval_samples_per_second": 196.832,
+      "eval_steps_per_second": 3.158,
+      "step": 1166
+    },
+    {
+      "epoch": 12.0,
+      "grad_norm": 1.6154041290283203,
+      "learning_rate": 2e-05,
+      "loss": 0.1889,
+      "step": 1272
+    },
+    {
+      "epoch": 12.0,
+      "eval_accuracy": 0.944622200344573,
+      "eval_f1": 0.7445997458703939,
+      "eval_loss": 0.17895005643367767,
+      "eval_precision": 0.6720183486238532,
+      "eval_recall": 0.8347578347578347,
+      "eval_runtime": 0.9537,
+      "eval_samples_per_second": 196.081,
+      "eval_steps_per_second": 3.146,
+      "step": 1272
+    },
+    {
+      "epoch": 13.0,
+      "grad_norm": 1.1404812335968018,
+      "learning_rate": 1.75e-05,
+      "loss": 0.1812,
+      "step": 1378
+    },
+    {
+      "epoch": 13.0,
+      "eval_accuracy": 0.9460989416687177,
+      "eval_f1": 0.7564766839378239,
+      "eval_loss": 0.1712188869714737,
+      "eval_precision": 0.6935866983372921,
+      "eval_recall": 0.8319088319088319,
+      "eval_runtime": 0.9598,
+      "eval_samples_per_second": 194.824,
+      "eval_steps_per_second": 3.126,
+      "step": 1378
+    },
+    {
+      "epoch": 14.0,
+      "grad_norm": 1.2477754354476929,
+      "learning_rate": 1.5e-05,
+      "loss": 0.1803,
+      "step": 1484
+    },
+    {
+      "epoch": 14.0,
+      "eval_accuracy": 0.9460989416687177,
+      "eval_f1": 0.7605633802816901,
+      "eval_loss": 0.17083437740802765,
+      "eval_precision": 0.6906976744186046,
+      "eval_recall": 0.8461538461538461,
+      "eval_runtime": 0.9574,
+      "eval_samples_per_second": 195.315,
+      "eval_steps_per_second": 3.133,
+      "step": 1484
+    },
+    {
+      "epoch": 15.0,
+      "grad_norm": 1.8264565467834473,
+      "learning_rate": 1.25e-05,
+      "loss": 0.1754,
+      "step": 1590
+    },
+    {
+      "epoch": 15.0,
+      "eval_accuracy": 0.946591188776766,
+      "eval_f1": 0.7668789808917198,
+      "eval_loss": 0.1711524873971939,
+      "eval_precision": 0.6935483870967742,
+      "eval_recall": 0.8575498575498576,
+      "eval_runtime": 0.9541,
+      "eval_samples_per_second": 196.004,
+      "eval_steps_per_second": 3.144,
+      "step": 1590
+    },
+    {
+      "epoch": 16.0,
+      "grad_norm": 1.540395736694336,
+      "learning_rate": 1e-05,
+      "loss": 0.1709,
+      "step": 1696
+    },
+    {
+      "epoch": 16.0,
+      "eval_accuracy": 0.9473295594388383,
+      "eval_f1": 0.7684478371501272,
+      "eval_loss": 0.1683785617351532,
+      "eval_precision": 0.6942528735632184,
+      "eval_recall": 0.8603988603988604,
+      "eval_runtime": 0.9497,
+      "eval_samples_per_second": 196.901,
+      "eval_steps_per_second": 3.159,
+      "step": 1696
+    },
+    {
+      "epoch": 17.0,
+      "grad_norm": 0.8038752675056458,
+      "learning_rate": 7.5e-06,
+      "loss": 0.169,
+      "step": 1802
+    },
+    {
+      "epoch": 17.0,
+      "eval_accuracy": 0.9485601772089589,
+      "eval_f1": 0.7780612244897959,
+      "eval_loss": 0.16760967671871185,
+      "eval_precision": 0.7043879907621247,
+      "eval_recall": 0.8689458689458689,
+      "eval_runtime": 0.945,
+      "eval_samples_per_second": 197.874,
+      "eval_steps_per_second": 3.174,
+      "step": 1802
+    },
+    {
+      "epoch": 18.0,
+      "grad_norm": 1.5857688188552856,
+      "learning_rate": 5e-06,
+      "loss": 0.1681,
+      "step": 1908
+    },
+    {
+      "epoch": 18.0,
+      "eval_accuracy": 0.9485601772089589,
+      "eval_f1": 0.7780612244897959,
+      "eval_loss": 0.1678979992866516,
+      "eval_precision": 0.7043879907621247,
+      "eval_recall": 0.8689458689458689,
+      "eval_runtime": 0.9528,
+      "eval_samples_per_second": 196.255,
+      "eval_steps_per_second": 3.148,
+      "step": 1908
+    },
+    {
+      "epoch": 19.0,
+      "grad_norm": 0.9667631387710571,
+      "learning_rate": 2.5e-06,
+      "loss": 0.1655,
+      "step": 2014
+    },
+    {
+      "epoch": 19.0,
+      "eval_accuracy": 0.9500369185331036,
+      "eval_f1": 0.785070785070785,
+      "eval_loss": 0.16446875035762787,
+      "eval_precision": 0.715962441314554,
+      "eval_recall": 0.8689458689458689,
+      "eval_runtime": 0.9567,
+      "eval_samples_per_second": 195.467,
+      "eval_steps_per_second": 3.136,
+      "step": 2014
+    },
+    {
+      "epoch": 20.0,
+      "grad_norm": 1.7443411350250244,
+      "learning_rate": 0.0,
+      "loss": 0.1654,
+      "step": 2120
+    },
+    {
+      "epoch": 20.0,
+      "eval_accuracy": 0.9497907949790795,
+      "eval_f1": 0.7840616966580978,
+      "eval_loss": 0.16442246735095978,
+      "eval_precision": 0.7142857142857143,
+      "eval_recall": 0.8689458689458689,
+      "eval_runtime": 0.955,
+      "eval_samples_per_second": 195.805,
+      "eval_steps_per_second": 3.141,
+      "step": 2120
+    },
+    {
+      "epoch": 20.0,
+      "step": 2120,
+      "total_flos": 910162411158000.0,
+      "train_loss": 0.3122263737444608,
+      "train_runtime": 246.7161,
+      "train_samples_per_second": 136.837,
+      "train_steps_per_second": 8.593
+    }
+  ],
+  "logging_steps": 500,
+  "max_steps": 2120,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 20,
+  "save_steps": 500,
+  "total_flos": 910162411158000.0,
+  "train_batch_size": 16,
+  "trial_name": null,
+  "trial_params": null
+}