End of training

all_results.json

@@ -1,20 +1,20 @@
 {
     "epoch": 3.0,
-    "eval_accuracy": 0.4794,
-    "eval_loss": 0.5928728580474854,
-    "eval_runtime": 115.0269,
-    "eval_samples": 2985,
-    "eval_samples_per_second": 25.95,
-    "eval_steps_per_second": 1.626,
-    "predict_accuracy": 0.2444,
-    "predict_loss": 0.7028721570968628,
-    "predict_runtime": 203.4437,
-    "predict_samples": 4934,
-    "predict_samples_per_second": 24.252,
-    "predict_steps_per_second": 3.033,
-    "train_loss": 0.7081544108072917,
-    "train_runtime": 2860.1486,
-    "train_samples": 10000,
-    "train_samples_per_second": 10.489,
-    "train_steps_per_second": 1.311
+    "eval_accuracy": 0.5259,
+    "eval_loss": 0.5759526491165161,
+    "eval_runtime": 306.5639,
+    "eval_samples": 7872,
+    "eval_samples_per_second": 25.678,
+    "eval_steps_per_second": 1.605,
+    "predict_accuracy": 0.2201,
+    "predict_loss": 3.6130311489105225,
+    "predict_runtime": 460.6956,
+    "predict_samples": 11897,
+    "predict_samples_per_second": 25.824,
+    "predict_steps_per_second": 1.615,
+    "train_loss": 0.05477445060331273,
+    "train_runtime": 3408.5838,
+    "train_samples": 113128,
+    "train_samples_per_second": 99.567,
+    "train_steps_per_second": 12.446
 }

eval_results.json

@@ -1,9 +1,9 @@
 {
     "epoch": 3.0,
-    "eval_accuracy": 0.4794,
-    "eval_loss": 0.5928728580474854,
-    "eval_runtime": 115.0269,
-    "eval_samples": 2985,
-    "eval_samples_per_second": 25.95,
-    "eval_steps_per_second": 1.626
+    "eval_accuracy": 0.5259,
+    "eval_loss": 0.5759526491165161,
+    "eval_runtime": 306.5639,
+    "eval_samples": 7872,
+    "eval_samples_per_second": 25.678,
+    "eval_steps_per_second": 1.605
 }

generated_predictions.txt

@@ -1,666 +1,880 @@
-3
-3
-3
-2
-3
-3
-3
-3
-3
-3
+1
 4
-3
-3
-3
-3
-3
 2
+2
+4
 3
 3
-3
-3
-3
-3
+4
 2
 4
+1
 2
-3
-3
-3
+1
+4
 2
-3
+4
 2
 3
+4
+4
+4
+4
+4
 3
-3
-3
+4
 2
 3
+4
 3
 3
-3
-3
-3
+2
+2
+2
+4
+4
 4
 3
+1
+2
+2
+4
+2
+4
+2
+2
 3
 2
 4
+4
+4
+1
 2
 1
 3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
+2
+2
 3
 4
+1
+2
 3
+2
+1
 3
+4
+2
 3
+4
 3
 3
+2
 3
+1
 3
-3
+2
+2
 4
-3
-3
-3
 4
 1
-2
+4
+1
 3
 3
+1
+2
+1
 3
 3
 4
 3
 3
 4
+2
 3
+4
+4
 3
+4
 3
+1
+2
+4
+2
 3
+4
 3
-3
+1
 3
 2
+2
 3
 3
-3
+1
 4
-3
-3
 4
+2
+2
 3
 3
 3
-3
+1
+4
+4
 2
+4
 3
+2
 3
+4
 3
+1
+1
+4
 3
-3
+4
+2
+4
 2
 3
 3
 3
+4
 3
 3
-3
-3
+4
 4
 3
+1
 2
-3
-3
-3
 2
+1
 3
-3
-3
-3
-3
+1
 3
 3
 2
-3
 2
 3
 3
 3
+2
+1
+4
+1
+2
+2
+2
+1
+4
+1
 3
+1
+4
 3
+2
+1
 3
-3
+4
 2
+4
+4
 2
 3
 3
 3
 4
+4
+4
+2
+1
+4
 2
+1
+3
+4
 3
 3
 3
 2
+2
+4
 3
 3
+1
+4
+4
 3
 3
+4
+1
+1
 3
 3
 3
+2
 3
+2
 3
+4
 2
 4
-3
 2
-1
+2
+2
 3
 2
+1
+1
 4
 4
 2
 4
 3
 3
+4
 3
 3
 2
+1
+1
+4
 3
 3
+4
+3
+2
+4
 3
+2
 3
+1
+1
+2
 3
+4
 3
 2
+4
 2
+4
+4
 2
 3
 3
+2
+4
 3
 3
 1
+1
+2
 3
-3
+2
 4
+4
+4
+1
+2
+1
+2
 3
 3
-3
-3
-3
-3
-3
-3
+4
 3
 3
 4
+2
+2
 3
 3
 1
-3
-3
 2
 3
 3
 3
 3
+1
+2
+1
+2
 3
+2
 3
+4
 3
+4
 3
-3
+1
+2
 3
 2
 3
+3
+1
+4
 4
 2
+1
+3
+1
+1
 4
 3
 3
+1
+2
+4
+3
 3
+2
+1
+1
 3
 2
 4
 4
+2
 3
 2
 2
 3
-3
 1
+1
+2
+2
 3
+4
 2
 3
 3
-3
-3
-2
-3
-3
-3
-3
+4
+1
 3
 3
 4
-2
-3
-3
+1
+1
 4
 4
+1
 3
 3
+1
+4
 3
+4
+2
 3
+2
 3
 3
+2
 3
+4
+2
+2
+2
+1
+1
+1
+2
 2
+1
+1
 4
+2
+1
+2
+2
+2
 4
 1
 3
 1
-3
-3
-4
 4
 1
 3
 2
+4
+2
+4
 3
+2
+1
+1
 3
-3
+2
 3
 2
 2
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
 2
+1
+1
+1
 3
 3
+1
 3
 3
 3
-3
-3
-3
+2
+2
+2
+2
+2
 3
 4
-3
-3
-3
-3
 4
-3
-3
 2
-3
-3
-3
-3
-3
 2
-3
-3
-3
-3
+4
+1
+2
 2
 4
-3
+4
+4
+4
+2
 2
-1
-3
-3
 2
-3
 2
 2
-3
-3
-3
-3
-3
-3
-3
-3
 3
 4
 3
 3
 3
-3
-3
-3
+2
 2
 3
-3
+1
 2
+1
 2
 4
-2
-3
 3
+4
+4
+1
 3
 2
 2
+1
 3
-3
-4
+1
 2
-3
-3
-3
-3
 2
 2
-3
+2
+1
 3
 2
 2
 3
 3
+2
 4
-3
-3
-3
-3
-3
+4
+1
 3
 2
+2
 3
 4
-3
-3
-3
 4
-3
-3
-3
-3
+1
 2
-3
-3
 2
+1
+1
 3
 1
+4
+4
+2
+4
+2
 2
-3
-3
 1
 2
-3
-3
+2
+2
+4
+1
+4
+4
 3
 3
 1
-2
+4
+1
 3
+1
 3
 2
 3
-3
-3
+4
+1
 4
 3
+4
+4
+2
 2
 2
 2
-3
-3
-3
 2
 3
+4
+2
+2
 1
+2
+2
+2
 1
+4
 3
 3
 3
-2
-3
-3
 3
+4
 1
-3
 1
 3
+2
+2
 1
 3
-3
-3
-3
-3
+4
 3
 1
+2
 3
 3
-3
+2
 3
 4
 3
+1
+1
+2
+2
+4
 3
+4
+2
+1
 3
+4
 3
+1
 3
 3
 2
 1
-3
+1
+1
+2
 3
 3
 3
 2
+2
+2
+4
+2
+1
+4
+4
+2
+1
 4
-3
-3
-3
-3
-3
 2
-3
 3
 3
 3
 2
+4
 3
+4
+2
 3
 2
+4
+4
 1
 3
+4
+2
+2
+1
 2
-3
-3
 4
+1
+1
+2
 3
-3
-3
+1
+4
 4
-3
 3
 1
+4
+2
+1
 3
+2
+2
 3
-3
-3
-3
-3
-3
+2
 3
 3
 4
-3
-3
+1
+4
+1
+2
+2
 2
 3
+1
+4
+2
+2
+4
 3
-3
+4
 3
 2
+1
 4
+2
 4
+2
 1
 3
+2
+4
+1
+4
+4
 3
+1
+4
+2
+1
+4
+2
+2
+2
 3
-3
-3
+4
 1
+1
+4
+2
+3
+2
+2
 3
+2
+4
 3
+2
 3
 3
 1
+4
 3
 3
+2
+1
 3
-3
+2
+4
+2
+2
+2
+4
+2
 3
 3
 2
-3
+4
 3
 1
+1
 2
 3
-3
 1
+2
 3
 3
 3
+1
+2
+1
 3
-3
-3
+2
+2
+1
 4
-3
-3
+1
+1
 3
 3
 2
-3
-3
+1
+1
+4
+2
+4
 3
 3
 3
 3
 3
 2
-3
 2
-1
-3
-3
-3
+2
 3
 2
+4
 2
 3
 2
-3
-3
-3
-3
 1
+4
 1
-3
 2
 3
-3
 4
+2
 4
+1
+2
 3
-3
-3
-3
+2
 4
 2
 3
-3
 4
-3
+2
 1
 3
 3
+2
+2
 1
 3
+4
 2
 2
-3
-3
-3
-3
+2
+4
 1
+4
+1
+2
+1
+4
+4
+4
 3
+4
+4
+2
+1
+4
+1
+1
+4
+2
+2
 3
+2
 3
 3
-3
-3
-3
-3
+2
 2
 3
 3
 2
+1
+4
 2
 2
 3
-3
+4
+4
+4
 2
 3
+2
+1
 3
+2
+2
+4
 3
-3
+1
 3
 2
-3
+4
+4
 1
 3
+4
 2
 2
+4
+1
 3
 3
+2
+4
+1
+2
+2
 3
+1
+4
 3
 3
 3
-3
-3
+4
+4
+1
 3
 3
 2
-3
+1
 3
 3
 4
+2
+4
+1
 3
+1
+2
 3
+4
 3
+1
 3
+4
 3
+1
 3
-3
+1
+4
+2
+2
+2
 2
 3
 2
@@ -668,1166 +882,1715 @@
 4
 3
 3
-2
-3
 3
+2
+2
+4
+1
+2
+4
 4
+2
+1
 3
+1
 3
+2
 4
-3
 2
 4
+1
 2
+2
+4
 3
+2
 3
-3
+4
 3
 3
 3
 4
-3
+2
 4
 3
+1
+2
+2
 3
+4
+4
 2
 3
+2
+4
+2
+1
 3
+4
 3
 3
+2
+4
+2
+4
 4
-1
 2
 3
+2
 3
 2
+1
+3
 2
+4
+1
+3
 3
 2
 2
 4
-1
+2
 2
 4
 3
 2
-3
-3
-3
-3
+2
 3
 4
-3
-3
-3
-3
-3
-3
 4
 2
 3
 3
 3
-3
-3
-3
-3
-3
 1
 3
+1
 3
 3
+4
+1
 3
+4
 3
+4
+1
+4
+2
+4
+1
+1
+2
+2
 2
 3
+1
 3
 4
+1
+1
+2
 3
+4
+4
+4
+2
+2
+2
 3
+2
+4
+2
 1
 3
+2
+1
+4
+2
 3
+2
 3
 2
 3
+1
+4
+2
 3
+2
+2
+2
+4
+1
 3
+4
+1
+1
+2
+1
 3
 4
+2
+2
+1
+2
 3
 3
+4
+4
+2
+4
+4
 3
+1
 3
 3
 3
+2
+2
+2
+2
+2
+4
 3
 3
 1
 3
-3
-3
+2
+2
+2
+1
+2
 4
-3
+2
 4
+1
+4
+2
+2
 3
 3
+2
 3
 3
 3
-3
+4
+2
+2
 3
 4
 3
+2
 3
-4
 1
 3
+4
+3
+2
 3
 3
+2
+4
+1
+4
 3
+2
+1
+4
+2
+1
+2
+4
 3
+1
+4
 3
 3
 3
+2
 3
 3
+4
 2
 3
+1
 3
 3
+4
+4
 3
+4
+4
+4
 2
+2
+1
 3
-3
+4
 3
 3
 2
+2
+4
+1
 3
 2
+1
+4
+4
 2
-3
-3
+4
 2
-3
-3
+1
 2
-3
 4
 3
+2
 4
-3
-3
+1
 3
 4
-3
 4
+1
+2
+2
 3
+1
+2
+2
+4
 3
-3
-3
-3
-3
-3
+2
 3
 3
 3
 2
-3
 2
+2
+2
+4
+4
+4
 3
 2
+4
 2
+4
 3
+2
+4
+1
+1
+4
+1
 3
+2
+2
+2
 3
 4
 3
 3
+1
+4
 3
-3
 4
+1
+4
+1
 3
+2
 3
+4
+1
+1
 3
+4
+1
+4
+1
+4
+2
+2
+2
+4
+2
+1
 3
+4
+2
 3
+2
+4
+2
+4
 3
+2
+2
+4
+2
+1
+2
+4
 3
+4
 3
 3
 3
+2
 3
+2
+1
+1
+1
 3
 4
 3
 3
-3
-3
-3
 4
 2
+1
+1
+1
 2
-3
-3
+1
+1
+1
 3
 1
 3
+1
+4
+4
+2
+4
 2
 3
+2
+1
+2
+1
+4
+1
+4
+2
+4
 3
 3
+2
+2
 3
 3
-3
+2
+4
 4
 3
 4
-2
+4
+1
 3
 4
 2
+1
 3
 2
-3
-3
-3
-3
-3
-3
+1
 2
 4
+4
+2
+2
 2
-3
-3
 4
-3
-3
-3
+2
 2
 3
+2
 3
+2
 4
+2
+1
 4
-4
-4
-3
+2
 3
 3
 3
+2
 3
 3
 3
 4
-3
+1
+4
 3
 2
 3
-4
-4
+1
 2
+1
 3
 4
 3
+1
+1
 3
 3
+2
 4
+1
 3
 3
 3
-3
+4
+2
 1
 3
 3
-3
-3
-3
-3
-2
-3
-2
 4
+2
 4
-3
+2
+1
+1
+2
+2
 4
+1
 2
-3
-3
 2
 3
 3
+1
+1
 3
-3
-3
-3
+2
+4
+1
+1
+2
 3
 2
 2
 2
 3
-3
-2
+1
 3
 3
+2
 3
 3
+4
+4
+4
 2
 3
+4
+1
+1
+3
 3
 4
+4
+4
 2
+3
 4
+1
 3
 3
 3
+1
+4
 3
 2
 3
+1
+4
 3
 3
-3
+1
+1
 2
+4
+1
 2
-3
 4
-3
-3
+4
 2
-3
-3
+4
 3
 2
 3
+4
 3
+1
 3
 3
+4
 3
 3
 3
+4
+4
+4
+1
+1
+2
+1
 2
 4
+2
+1
 3
 3
+1
 3
-3
-3
-3
+2
 4
-3
-3
-3
-3
-3
+2
 4
-3
-3
+1
+1
 1
 3
+2
+1
+1
 3
+4
+4
+4
+4
+4
 3
-3
-3
-3
+4
 3
 2
+1
+2
+2
+4
+1
+1
 3
 3
-3
+2
+4
 1
 3
 2
+2
+1
 3
-3
-3
+4
+4
+4
+4
+2
+4
+4
+2
 4
 3
 3
+4
 3
 2
-3
+4
+2
 2
-3
 4
-3
+4
 2
+4
 3
 3
 3
 4
-3
-3
+1
+2
 4
+2
 3
 2
 1
 1
 2
 2
-1
-3
-1
-3
+4
+4
 2
-3
-3
-3
-3
-3
-3
 4
 4
-3
 2
+4
 2
 3
+1
 3
 3
 3
-3
+4
 2
-3
 4
+1
+1
+1
 4
 3
 3
+2
+4
+1
 3
+4
+2
 2
 2
-3
 4
-3
-3
+1
+1
+2
+4
+2
+1
 2
 3
 3
 3
 3
 1
-4
-3
-3
+2
 3
+4
+2
 3
+2
+2
 3
 3
 2
+4
+4
+2
 2
 3
+4
+2
+2
 3
+4
+4
+4
+2
+2
 1
-3
-3
-3
+1
+2
+4
 3
 4
+2
+2
+1
+1
+2
 3
+4
+1
+1
+1
 3
+4
 1
 1
 3
 3
 3
 2
+2
+4
+1
 3
-3
-3
+4
+4
+1
+4
+2
+4
+4
+1
+4
+1
+1
+2
+4
+2
+1
 2
 3
+4
+2
 3
 3
 3
+1
+1
+4
 3
+2
+4
 3
+4
+1
+1
 3
+1
+4
 3
 3
+4
 3
+2
 4
+1
 2
 4
-3
-3
 2
+4
+4
+1
+4
 3
+1
 3
+2
 3
 3
+4
+1
 3
 3
 1
-2
 3
+1
+4
 3
 3
-2
 3
-2
+4
+4
+4
+1
+4
 2
 3
 2
 3
 3
-3
 2
-2
-3
-2
-3
-3
+1
 3
+4
+1
+4
 3
 2
-3
+4
+1
 3
 2
+1
 3
-3
+1
+1
 4
+2
 3
-3
-3
-3
-3
-3
-3
-3
+2
+4
+4
+2
 3
 3
 3
 2
+2
+2
 4
 2
 3
+1
+1
+4
+4
+2
+4
+2
 3
+1
+1
 3
 3
-3
-3
+4
 3
 4
+4
 1
+4
 2
-3
+4
 2
 2
-3
-3
+4
 4
 3
-3
-3
+4
+4
 2
-3
+1
+1
+4
+4
+1
 3
 2
 1
-3
+1
+4
+1
 4
-3
 3
 2
+2
+4
 3
+2
+1
+4
+2
 3
 3
 3
-3
-3
-3
+1
 2
+2
+4
 3
+4
 3
-3
+2
+4
+2
 2
 2
 3
 2
+1
+1
+1
 4
 3
 3
+2
+1
 3
+1
+4
 3
 3
+4
 3
+1
+2
+1
+4
 2
+4
 3
 2
 2
-3
-3
-3
+4
+4
 2
-3
-3
-3
-3
-3
+4
 2
 3
 2
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
 4
-3
-3
+1
+2
 3
 4
+1
+4
 3
+2
+2
 3
+4
+1
+2
+4
+4
+2
+2
+4
 3
+1
 3
 3
 3
+4
 3
+1
 3
-3
-3
-3
-3
-3
-3
-3
-3
-3
+4
 2
-3
 2
-3
-3
+1
 4
-3
 4
-3
-3
 4
-3
-3
-3
-3
-3
 2
 3
+4
 3
+1
+4
+1
 3
 2
+2
+1
 3
 3
 4
-3
-3
 4
+2
 3
+4
+1
+4
+1
+2
 3
+4
 3
-3
-3
-3
+1
+4
 3
 4
+1
 4
-3
+2
+1
 4
-3
 2
-3
-3
+4
 1
-3
+4
 1
-3
+4
+2
+2
 2
-3
-3
 3
 4
+2
 3
+2
+4
 3
+1
 3
+4
 3
 3
+4
+2
 3
+4
+4
+1
+4
 3
-3
-3
-3
+1
 3
 3
 2
+1
 3
+2
 3
-3
-3
-3
+2
+4
+1
+2
+1
+4
 2
 2
+1
+3
 4
 4
+1
+4
+2
 3
 2
 3
 2
+4
+2
+4
+1
 2
+1
+1
+2
+1
+2
+1
+4
 2
-3
-3
-3
-3
-3
 4
 3
+1
+1
 3
 3
-3
-3
+4
 2
 3
 3
 3
-3
 1
 2
+4
+1
+1
 3
 3
-3
+1
+1
+4
 2
+1
 3
-3
-3
-3
-3
-3
+4
+4
 3
 2
 4
+4
+2
+4
 2
 3
+4
+1
+2
 3
+4
 3
+1
 3
-3
-3
-3
-3
-3
+1
+1
+4
 2
+4
+4
+1
 2
-3
 2
-3
-3
-3
-3
 2
+4
+1
 3
+1
+4
+1
+4
 3
 3
 2
+1
+4
+1
 3
-3
-3
-3
-3
-3
+1
 2
 3
-3
+2
+2
 4
 3
 2
 3
+4
 2
-3
 1
 4
 4
-3
-3
 2
+1
+4
+4
+4
 3
+4
+1
+4
 3
 3
 3
+1
+1
 3
+4
 2
 3
+1
+4
 3
-2
-2
+1
 3
+2
 4
+1
 4
 2
 3
-3
+2
 2
 3
 2
+1
 3
 3
+2
+3
+4
 3
+1
+4
 3
 2
-2
+3
 1
 1
 3
-2
-2
+1
 3
+2
 3
 3
 4
+2
 3
 4
 4
+1
 3
 3
+2
+1
 3
+4
+1
+4
+4
 3
+1
+4
 4
 3
+4
 3
 2
-3
-3
-3
-3
-3
-3
-3
-3
-3
 1
 4
-3
-3
+1
+2
+1
+2
 4
+2
 3
+1
 3
 3
-3
+2
+1
+1
+4
+4
+2
+2
 4
+1
 3
+2
 3
 3
+1
 3
-2
+1
 1
 2
 2
 2
+4
+4
+1
+2
 2
-3
-3
 2
+4
+1
 3
 3
+1
 4
 4
-3
 2
-3
-2
-3
 1
-3
-3
-3
-3
 1
+4
 3
-3
-3
-3
+4
 2
 3
-3
-3
-3
+2
+4
+2
 1
-3
 4
 3
 4
+2
+4
 4
 1
+2
 3
-3
+2
+4
+4
+1
+4
+4
+1
+1
 4
 3
+4
+2
 3
 3
-3
-3
-3
+4
 2
-3
+2
+1
 4
+1
 4
+1
+1
 2
-3
-4
-3
 2
+1
 3
 3
-3
+4
+1
+4
 3
 3
 2
-3
-3
-3
-3
+2
+1
 1
 2
-3
+1
 2
+4
+2
+1
 3
-3
+1
+4
 2
 3
 3
 2
+2
+4
+4
 3
+4
 1
+2
+3
+4
 3
+4
+2
+2
+4
 3
+1
+1
+4
+1
 3
+2
+1
 3
+2
+2
+2
 3
 3
+1
+4
 3
 3
 3
 3
-2
 3
-2
-2
 3
 1
 4
 3
-4
-3
 3
 3
+4
+4
+2
+4
+2
+4
 3
 3
+2
 3
+4
 1
 2
 2
+4
+4
+1
 2
 2
 2
 3
 3
-3
-2
-3
+1
 3
 4
-3
-1
 1
 4
 3
+2
+2
+2
+4
 3
+2
 3
+1
+1
 3
+4
+2
 3
 3
-4
 3
 3
 4
+1
+1
+1
+4
 2
 3
 2
+2
 3
+2
 3
-1
-4
-4
-4
 3
 4
 3
 3
-4
-4
+2
 4
 3
-4
 3
 3
-1
+4
 3
+2
 3
+4
+2
 3
 3
+2
 1
+2
+4
+2
+2
+4
 3
-3
+2
 4
 1
+1
 3
-3
+2
+2
 4
-3
-3
-3
-3
-3
-3
-3
-3
+1
 4
 3
 3
+2
+4
+2
+4
+1
+2
 3
+4
+4
+4
+2
 3
-3
-3
-3
-3
-3
+1
 3
 2
 2
-3
+4
 2
 2
-3
+1
+1
+1
 4
+1
+4
+1
 3
+4
+1
 3
+2
 3
+4
+1
 3
-3
-3
+1
 3
 2
+2
+1
+1
+4
 3
-3
-3
+4
+2
 1
 2
 3
 3
 4
+4
+4
+4
 3
 2
 3
-3
-3
+4
 1
-3
-3
-3
-3
-3
 2
-3
-3
 2
 3
-3
+4
 4
 3
-3
-3
-3
+1
+4
 3
 2
+1
+1
+1
+2
+1
+2
+2
+4
+4
+2
+4
+2
+2
+1
+4
+2
+4
 3
+4
+4
+2
 3
+2
+4
+4
+4
+4
+2
 3
+4
 3
+4
 3
+4
+1
 3
+1
+1
+1
+2
+4
 2
-3
-3
 3
 1
 3
+4
+1
 3
 2
-3
-1
 2
-1
 3
 3
 2
 3
+1
 4
 3
 1
+2
 1
-3
-3
-3
 4
 3
+4
+4
 3
+2
+4
+4
 3
-3
+2
+2
+4
+4
 3
 2
+4
+4
 3
+4
+1
+4
+4
 3
 3
 4
-3
+1
 3
 2
 3
-3
+2
 3
 1
 2
+1
+2
+4
 3
+4
 3
-3
-3
-3
-3
+1
+4
+4
+2
+4
 2
 3
 1
 3
 3
 3
-2
-3
 3
+1
+1
 3
 3
+4
+2
+2
 3
+4
+4
 3
+4
 3
+1
+4
 3
 4
+2
+2
+4
 3
 1
+1
 3
+4
+1
+2
+2
+4
+4
+4
+4
+2
+2
 2
 3
 3
+4
+4
+3
+1
 3
+1
+1
 3
+4
+4
 3
+2
+4
+2
 3
 3
 1
@@ -1835,1111 +2598,6351 @@
 4
 3
 3
+1
+2
+4
+1
+4
+4
+1
 4
+1
 4
 3
-2
+1
+1
 1
 2
 1
+2
 3
-4
-4
 2
 2
-1
-3
 3
 4
 3
+3
 2
 4
+2
 3
+4
+4
 3
 3
-4
 2
-3
 1
 2
 3
-3
+1
 2
 3
 1
+4
 3
+1
 3
-3
-3
-3
-3
-3
+2
+1
 4
+1
+4
+2
 3
 3
+4
 3
 3
-3
-3
-3
-3
-3
-3
+2
+1
+1
+4
+4
 3
 4
-3
 2
-3
-3
-3
-3
-3
-3
-3
-3
 2
-3
-3
-3
-3
 2
-3
-3
-3
+4
+2
+4
+2
+4
 2
 2
 4
 3
-3
-3
+1
+1
 2
+4
 2
+1
 3
+1
+4
+1
 3
+4
+4
 2
+4
+1
 3
-2
 3
 1
+2
 3
 4
+4
 3
+1
 2
-3
+1
+2
+2
+1
+4
 2
-3
 1
+2
 3
+4
+1
 3
+1
+2
 2
-3
 2
-3
 2
 3
-3
+2
+4
 3
 3
 1
-3
-3
 2
+1
 2
-3
 1
 2
-3
-3
-3
-3
-3
-3
+4
 1
-3
-3
-3
-3
-3
-3
-3
+4
+2
+4
 3
 4
+2
+2
 4
 3
 1
+2
+2
 3
+4
+4
+1
+1
 3
 3
+2
+4
 3
 4
+4
+2
 3
+2
 1
 3
-1
-2
-2
 2
 3
+1
+4
 2
 3
 4
 1
-3
-3
-3
 4
-3
+2
+1
+2
 4
-3
-3
-3
+1
 2
-3
+4
 2
 2
-3
-3
 2
+2
+4
 3
+2
+1
+2
+2
+2
+1
 3
 3
+4
+2
 3
 3
-3
-3
-3
-3
-4
+2
 4
+2
 4
-3
-3
-3
-3
 2
 3
+1
+4
 3
 3
-3
+1
+4
 4
-3
 2
-3
 2
 2
-3
-3
-3
+4
+1
 3
 2
 2
-3
-4
-3
 2
+1
+1
 4
+2
 4
 1
 2
-3
-2
-3
-3
-3
-3
-2
-3
 4
 2
 2
-3
 2
-3
-3
+2
 1
-3
-3
+4
 1
+4
+2
 3
 3
+1
 3
+4
+4
 3
 3
-3
-3
-3
-3
-2
+4
 3
 1
-3
-3
+4
 2
-3
-3
-3
 2
 3
 3
-3
-3
-3
-3
-3
+1
 4
-3
-3
-3
-3
-3
-3
-3
+1
 4
-3
+1
 3
 2
-3
+4
+4
+2
+4
+4
 3
 2
 3
+2
 1
+3
+4
+4
 2
 2
 3
+1
 3
+1
+4
 3
+2
+1
+1
 3
+2
 3
-4
 2
+4
+1
 3
 3
 3
 3
 3
 3
+2
 3
+2
 3
 3
+2
+2
 4
-3
-3
-3
+2
+2
+1
 3
 2
-4
 3
 4
 3
-3
 4
 3
-2
-3
-3
-3
-3
-3
-3
-3
-3
 3
 1
+2
 1
 2
 3
 3
-4
 1
-3
 2
-3
 4
-3
 1
-3
 1
 3
-4
 1
 1
+2
 3
-4
-4
-3
-3
+2
+2
 3
+2
+2
 3
 2
-3
-3
-3
 2
-3
 2
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
+2
 4
-3
+1
+2
 4
-3
 1
+4
+2
 3
-3
-3
-3
-3
+2
+2
+2
 1
 3
+1
+1
+2
 4
+4
+2
 3
+2
+1
 3
-3
-3
 1
+1
+1
+2
+4
 4
+2
 3
 3
+4
+2
+2
+2
+4
+4
 3
+4
+2
+4
 1
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
+2
+4
+4
+4
 4
 3
 3
 4
+2
+2
+1
 3
+2
 3
+4
+4
+2
 3
-3
+4
+4
+2
 1
+2
+4
 3
+2
 3
 3
+4
+1
 3
+4
+1
 3
-3
+1
+2
+1
 2
 3
+1
+2
+2
+1
+1
 4
 3
+1
+2
 3
+2
+4
+2
+1
 3
+1
 3
 3
-3
-3
-3
-3
+2
+2
+1
+4
 1
+4
 3
 4
 3
 3
+2
+1
+2
 3
+1
 3
+4
+1
+2
+2
 2
 3
-3
+1
+2
+2
 1
 3
+1
+4
+1
+2
+2
+2
+2
+2
+1
+2
+1
 3
+1
 3
+4
+1
 2
+1
 3
+4
+4
 3
+2
 3
+2
 3
 3
 3
 1
 3
-3
-3
-3
+4
 1
 3
-1
+2
 3
+2
+2
 4
-4
-3
-3
 1
 1
 3
-4
-3
+1
 3
+2
+1
 3
 3
 4
 4
+1
+4
 4
+1
 3
 3
+1
+2
+4
+4
 3
-3
+1
+2
+1
+2
+2
 4
 2
-3
-3
-3
-3
-3
 2
+4
+4
 3
-3
+2
+2
+2
 3
 4
 4
+2
 3
-3
+4
+2
+4
 2
 4
-3
 4
-3
-3
 2
 3
-3
 1
+4
+4
 3
 2
-2
+1
+1
 3
+4
+4
+1
+4
 2
+1
 3
 3
+4
 3
-3
-3
+2
+4
+2
 1
 1
 2
-3
-3
-3
-3
 4
+2
+2
 3
 3
-3
-3
+2
 3
 3
 4
 3
-3
-3
+4
+4
+4
 1
+4
+2
 3
-3
-3
-3
+4
 4
 3
+2
+4
+4
 1
+4
 2
 3
+4
 2
-3
-3
-3
-3
-3
+1
 4
-3
 2
+4
 3
 3
 3
-3
+1
 2
 2
-3
-3
 2
+4
+2
+2
+4
+1
+4
 3
+1
 3
 1
+4
 3
 2
+4
 2
-2
-3
+1
 3
 4
-3
-3
-3
-3
 4
-3
-3
-3
-3
 2
-3
+2
+1
+1
+4
 4
+2
+4
+1
+1
+4
+2
 3
 3
+1
+2
 3
+1
 3
+2
+1
+4
+2
+4
+4
+1
+4
+4
 3
+4
+1
 3
+1
 3
 3
 3
+2
 3
+2
+2
 3
 2
+3
 2
+4
+3
 1
 4
 2
+4
 3
+2
+4
+2
 3
+2
 3
+2
 3
-3
-3
+4
 1
+2
 3
+4
+2
+4
+4
+4
+2
+4
 3
 4
+2
+2
 3
+2
 4
 3
+4
+1
+4
+4
+4
+4
+4
 3
+1
+4
 3
+1
 3
 3
 3
 3
+2
 1
 3
+2
+2
 3
+4
 3
 3
 4
+1
 3
 3
+2
 4
 2
-3
+1
+2
+2
 2
 4
-4
-3
-3
-3
+1
+1
 3
+1
 3
+1
+1
+1
+2
+2
 4
-3
-3
+1
+2
+2
 4
 2
+1
+2
 3
-3
+1
+4
+2
+4
+2
 3
 4
+2
 1
+2
+4
+2
 3
-3
+4
+2
+4
 1
+4
 2
 3
 2
+1
+4
+4
 2
-3
+1
+1
+1
 4
 3
 2
 3
+1
+1
+1
+2
+2
+4
+2
 3
+2
+4
+4
 3
 3
+2
 3
+2
+4
+1
+1
+4
+4
 3
+4
+1
+2
+4
+2
+4
+2
+2
+4
+2
+1
+4
+2
+2
+4
+2
+2
+2
+1
 1
+2
+1
+4
 3
+2
+1
+4
 3
 2
+4
 2
-3
 2
 4
 3
+4
+1
+4
+2
+4
+4
 3
 2
+2
+2
+1
+2
+4
+1
+2
+2
 3
+4
+2
 3
+4
+1
+4
 3
 3
+2
+4
 3
 3
+1
+1
 2
+1
 2
 3
+4
+2
+2
+1
+2
+4
 3
+1
+1
+4
+1
+4
+2
+4
+4
 3
 3
 3
 3
+2
 3
-3
+2
+1
+1
 3
 3
 1
+4
 3
+4
+4
+4
 3
 3
+2
+4
 3
-3
+2
+4
+1
+4
 1
 3
 2
-2
-3
-3
 4
 3
 4
-3
+4
 3
 2
 3
+1
+2
 3
 4
-3
+2
 4
-3
-3
-3
-3
-3
 4
-3
-3
-3
+2
+2
+2
+4
+2
+2
+1
+2
 3
 3
 2
+4
 3
+2
 3
+1
+4
+1
+1
 3
+4
+2
 3
+4
 3
+1
+4
+2
+2
+4
+1
+2
+2
+2
+2
+2
+2
+3
+4
+4
+4
+1
+2
+4
+1
+1
+2
 3
 3
+4
+4
+4
 3
+1
+4
 3
 3
+1
+1
+2
 3
 3
+2
+1
 3
 3
+2
+4
 3
+4
+4
 3
+1
+2
+2
+4
+2
+1
+4
+2
 3
 3
+1
 3
 4
+2
+2
+1
+2
+2
+2
+2
+1
+1
+2
+1
 3
+4
+2
+2
+2
 3
+4
 3
+2
+1
 3
 3
+1
 3
+2
+4
 3
-3
+1
+4
+4
+4
+4
+4
+2
+1
+2
 4
 3
 4
 3
+1
+2
 3
+1
+1
+4
+2
 3
+4
 3
+2
+2
+4
+1
+1
+2
+2
+1
 3
 3
+4
+2
 3
+4
+2
 2
-1
+4
+3
+4
+4
 4
 1
+2
 3
+1
+2
+2
 3
 3
+2
+2
+1
+2
+2
 4
 2
 3
-3
-3
+2
+1
+4
 3
 2
 4
 4
 4
+1
 2
+3
 2
 3
+1
 3
 3
+2
+2
 3
+1
+4
+2
 3
+4
 3
 3
 3
+2
+2
+1
 3
+4
+4
+2
+4
+4
+2
 3
+1
+4
 2
 3
+4
+1
 2
 3
 3
+4
+1
+4
+4
+2
 3
+1
+2
+1
+4
 2
+4
 3
+4
+1
+2
 3
+1
+2
 3
 4
+4
 3
+2
+1
 3
 4
+1
+3
+1
 3
 3
+2
 3
 4
+1
+2
+1
+2
+1
 3
+4
+1
+4
+2
+4
+2
 3
+4
+4
 3
+4
 3
 3
 3
 4
 3
+1
+3
+1
+2
+1
+4
+2
+4
 3
+2
 3
+4
+2
+1
 3
+2
 3
+4
+4
 3
+4
+4
+1
+1
+1
 3
 3
 3
 3
 2
+1
+1
+2
+1
 3
+4
+2
+2
+2
+4
+4
 1
+2
+3
+3
+3
+3
+4
 3
+2
+3
+1
+4
+1
 4
+1
+2
+2
+2
+2
 4
+2
+2
+1
+3
+2
 4
 2
 3
+4
+1
+1
+4
+3
 3
 3
+2
+4
 3
+2
+1
 3
 3
 2
+1
 3
+2
+4
 3
+2
+1
+1
 3
+2
+2
+4
+4
+2
 3
+1
+2
+1
+2
+4
+2
 3
 3
+2
 3
 3
 1
+4
+3
 3
 3
+2
+3
 3
+2
 3
 3
+1
 3
+3
+4
+2
+4
+4
+3
+1
+4
+3
+2
+1
+2
+1
+4
+2
+4
+2
+1
+2
+3
+4
+4
+1
+2
+1
+4
+4
+3
+2
+1
+4
+1
+2
+2
+1
+1
+3
+3
+4
+1
+3
+3
+2
+2
+4
+4
+1
+2
+3
+2
+4
+2
+4
+3
+2
+2
+2
+2
+3
+3
+3
+3
+2
+3
+2
+3
+3
+4
+4
+3
+4
+2
+2
+2
+2
+1
+4
+2
+1
+2
+2
+3
+1
+3
+2
+4
+1
+4
+2
+4
+2
+4
+4
+3
+2
+3
+1
+1
+1
+3
+2
+2
+2
+3
+3
+3
+1
+3
+1
+3
+2
+1
+3
+3
+2
+1
+4
+2
+1
+4
+3
+3
+2
+2
+4
+2
+4
+4
+4
+4
+1
+4
+3
+4
+4
+2
+3
+1
+3
+4
+3
+2
+2
+1
+2
+2
+3
+3
+3
+2
+2
+3
+1
+2
+3
+4
+3
+4
+1
+3
+4
+3
+3
+3
+3
+2
+4
+3
+2
+4
+4
+2
+3
+2
+1
+2
+1
+3
+3
+3
+4
+3
+3
+1
+4
+3
+4
+2
+2
+4
+4
+3
+2
+4
+4
+3
+3
+3
+3
+1
+3
+3
+2
+3
+3
+2
+3
+1
+3
+1
+3
+2
+4
+2
+2
+3
+2
+1
+2
+4
+3
+3
+4
+4
+2
+4
+3
+3
+2
+1
+3
+4
+3
+3
+1
+4
+4
+1
+4
+3
+2
+3
+1
+1
+3
+3
+4
+4
+2
+1
+1
+2
+3
+3
+2
+3
+4
+4
+4
+2
+3
+4
+3
+1
+1
+2
+1
+2
+4
+3
+3
+2
+2
+4
+2
+1
+4
+2
+1
+2
+2
+4
+2
+4
+1
+3
+2
+4
+3
+3
+1
+1
+3
+4
+2
+4
+1
+4
+2
+1
+1
+3
+3
+2
+1
+1
+4
+4
+3
+3
+2
+4
+3
+4
+2
+1
+2
+3
+4
+3
+2
+2
+4
+2
+2
+1
+2
+1
+1
+3
+1
+1
+3
+3
+1
+4
+2
+2
+4
+3
+4
+2
+1
+3
+2
+1
+3
+3
+2
+3
+4
+2
+1
+1
+2
+1
+4
+4
+3
+4
+3
+2
+3
+4
+4
+3
+1
+3
+4
+3
+3
+4
+1
+1
+2
+3
+4
+4
+2
+3
+2
+1
+4
+3
+3
+4
+1
+3
+1
+4
+3
+1
+2
+3
+2
+1
+2
+4
+3
+1
+4
+1
+2
+3
+4
+1
+3
+1
+2
+2
+2
+3
+3
+3
+1
+3
+4
+3
+2
+4
+1
+2
+2
+4
+1
+3
+2
+4
+4
+3
+3
+3
+2
+4
+4
+1
+2
+3
+3
+1
+4
+4
+3
+1
+2
+1
+2
+1
+2
+3
+3
+3
+3
+1
+3
+4
+2
+1
+2
+3
+1
+2
+3
+1
+3
+4
+4
+4
+2
+2
+2
+3
+1
+3
+1
+3
+2
+1
+4
+1
+1
+3
+2
+3
+4
+3
+4
+1
+2
+4
+4
+4
+2
+4
+3
+2
+3
+2
+4
+3
+3
+3
+2
+4
+1
+2
+3
+2
+1
+4
+1
+3
+3
+3
+3
+4
+2
+2
+1
+2
+4
+3
+3
+3
+2
+3
+1
+4
+2
+4
+1
+2
+4
+4
+2
+2
+3
+4
+3
+2
+2
+2
+2
+3
+1
+2
+2
+3
+3
+2
+3
+1
+4
+1
+2
+2
+3
+3
+1
+3
+4
+1
+3
+2
+3
+4
+2
+2
+1
+1
+4
+2
+3
+2
+2
+2
+1
+2
+2
+3
+1
+2
+1
+1
+2
+2
+3
+4
+3
+3
+4
+4
+3
+1
+3
+1
+1
+4
+2
+2
+4
+3
+3
+1
+2
+3
+2
+2
+3
+2
+1
+3
+4
+1
+1
+2
+3
+3
+2
+2
+3
+3
+2
+3
+4
+4
+3
+2
+1
+2
+4
+2
+3
+4
+1
+4
+1
+1
+3
+4
+1
+4
+2
+3
+2
+1
+4
+3
+4
+3
+2
+4
+4
+4
+3
+2
+4
+1
+1
+2
+2
+4
+2
+2
+4
+3
+1
+3
+4
+4
+1
+4
+4
+4
+1
+3
+2
+4
+4
+2
+3
+4
+2
+3
+1
+4
+4
+4
+4
+4
+2
+4
+4
+2
+1
+4
+3
+4
+4
+2
+3
+4
+2
+1
+2
+4
+2
+3
+2
+3
+3
+3
+1
+2
+2
+3
+3
+2
+3
+2
+4
+3
+1
+2
+4
+3
+2
+2
+3
+1
+2
+1
+3
+1
+2
+4
+1
+2
+3
+3
+4
+1
+2
+4
+2
+2
+2
+4
+4
+4
+4
+1
+1
+2
+1
+2
+2
+1
+3
+4
+4
+2
+2
+4
+2
+2
+4
+2
+3
+3
+4
+4
+3
+4
+4
+4
+2
+1
+4
+3
+3
+1
+1
+3
+4
+4
+2
+3
+3
+2
+2
+1
+2
+3
+2
+4
+3
+2
+4
+3
+1
+4
+4
+3
+4
+2
+3
+2
+2
+4
+1
+4
+4
+1
+3
+2
+4
+3
+3
+1
+4
+4
+4
+4
+3
+1
+3
+1
+3
+4
+4
+1
+2
+1
+1
+2
+3
+3
+1
+1
+4
+2
+2
+2
+3
+1
+2
+2
+2
+4
+4
+4
+2
+2
+2
+4
+4
+3
+1
+1
+3
+4
+3
+3
+3
+1
+1
+2
+3
+3
+2
+3
+1
+3
+4
+3
+4
+3
+1
+4
+1
+2
+4
+4
+4
+2
+2
+2
+2
+1
+2
+3
+4
+3
+4
+4
+3
+2
+1
+4
+4
+3
+2
+3
+4
+3
+4
+1
+2
+1
+1
+2
+4
+2
+2
+2
+3
+2
+1
+4
+3
+3
+3
+4
+1
+2
+3
+4
+2
+1
+2
+1
+4
+3
+4
+2
+3
+1
+2
+1
+3
+4
+4
+2
+3
+3
+3
+2
+2
+2
+1
+4
+3
+4
+1
+4
+3
+3
+4
+4
+1
+4
+2
+4
+4
+3
+3
+3
+2
+4
+2
+4
+3
+4
+4
+3
+3
+3
+2
+4
+3
+1
+3
+1
+1
+4
+1
+3
+2
+1
+2
+3
+4
+3
+3
+4
+1
+4
+3
+2
+2
+4
+1
+4
+1
+4
+4
+2
+2
+2
+1
+3
+1
+2
+1
+1
+4
+3
+4
+1
+1
+4
+1
+1
+1
+4
+3
+1
+2
+2
+4
+3
+4
+3
+1
+3
+4
+1
+4
+1
+4
+2
+3
+2
+2
+1
+2
+2
+1
+2
+1
+3
+2
+1
+2
+2
+2
+4
+3
+2
+4
+1
+3
+1
+4
+4
+3
+2
+4
+3
+3
+1
+2
+1
+3
+1
+4
+3
+2
+2
+3
+4
+4
+1
+4
+2
+2
+2
+1
+1
+3
+1
+4
+4
+2
+2
+1
+4
+3
+2
+2
+1
+2
+1
+4
+3
+3
+3
+2
+4
+2
+3
+1
+4
+3
+3
+1
+3
+3
+3
+4
+4
+4
+3
+3
+3
+2
+4
+2
+2
+4
+1
+4
+1
+4
+1
+3
+2
+2
+4
+4
+3
+2
+4
+4
+3
+2
+1
+3
+2
+3
+3
+1
+3
+3
+1
+3
+1
+4
+2
+4
+4
+3
+3
+2
+4
+4
+3
+3
+2
+1
+4
+3
+1
+3
+2
+2
+2
+2
+3
+3
+2
+1
+1
+1
+4
+3
+3
+1
+2
+3
+2
+4
+2
+3
+4
+3
+2
+1
+3
+4
+4
+3
+2
+2
+3
+4
+3
+4
+4
+1
+4
+4
+3
+4
+1
+2
+2
+4
+2
+2
+4
+2
+4
+4
+2
+3
+2
+1
+3
+2
+2
+4
+2
+2
+1
+1
+4
+4
+4
+3
+1
+3
+3
+1
+3
+1
+3
+4
+4
+3
+3
+1
+3
+4
+3
+2
+1
+4
+4
+4
+2
+3
+2
+4
+2
+4
+3
+2
+3
+1
+4
+2
+1
+4
+3
+3
+2
+1
+4
+1
+4
+3
+2
+4
+1
+1
+4
+2
+2
+1
+2
+1
+3
+3
+2
+1
+4
+2
+3
+2
+2
+1
+3
+3
+4
+1
+2
+3
+2
+3
+3
+1
+1
+4
+4
+1
+4
+2
+2
+4
+4
+1
+2
+4
+4
+2
+2
+3
+2
+2
+4
+2
+2
+1
+4
+1
+3
+4
+2
+4
+1
+4
+3
+4
+1
+2
+3
+3
+1
+2
+1
+1
+1
+2
+2
+3
+4
+4
+2
+4
+1
+4
+2
+2
+2
+1
+1
+1
+4
+2
+2
+1
+3
+2
+2
+4
+2
+2
+2
+2
+4
+1
+2
+4
+1
+1
+4
+4
+2
+3
+4
+4
+3
+3
+1
+1
+1
+3
+3
+4
+2
+4
+4
+4
+4
+2
+4
+4
+2
+3
+1
+4
+4
+4
+3
+2
+4
+2
+3
+2
+1
+4
+3
+3
+3
+3
+2
+1
+4
+4
+4
+2
+4
+2
+2
+3
+3
+3
+1
+3
+2
+2
+1
+3
+1
+4
+2
+4
+2
+1
+3
+4
+3
+3
+3
+2
+4
+2
+3
+2
+1
+2
+3
+1
+1
+4
+2
+2
+2
+3
+3
+4
+3
+3
+1
+2
+1
+2
+1
+4
+3
+2
+1
+2
+3
+1
+4
+1
+2
+4
+4
+1
+3
+2
+2
+2
+1
+2
+3
+2
+3
+2
+2
+2
+2
+4
+2
+3
+3
+2
+4
+3
+2
+4
+2
+4
+2
+4
+2
+3
+3
+1
+2
+2
+2
+1
+3
+4
+1
+3
+1
+2
+1
+2
+3
+1
+4
+2
+2
+3
+2
+2
+2
+3
+1
+4
+2
+1
+2
+4
+1
+3
+4
+4
+3
+4
+2
+1
+4
+2
+3
+3
+1
+1
+3
+2
+1
+3
+3
+3
+3
+4
+4
+1
+4
+2
+4
+4
+3
+4
+4
+3
+1
+3
+3
+1
+3
+3
+1
+2
+4
+4
+2
+4
+1
+4
+3
+1
+4
+4
+3
+3
+2
+4
+1
+2
+1
+3
+4
+4
+2
+4
+4
+4
+2
+1
+4
+2
+1
+3
+4
+2
+2
+3
+4
+3
+2
+2
+4
+3
+1
+2
+3
+2
+2
+2
+3
+4
+4
+2
+2
+1
+4
+3
+2
+1
+4
+4
+4
+2
+4
+3
+3
+4
+3
+4
+1
+4
+3
+2
+4
+4
+3
+1
+2
+1
+2
+1
+1
+1
+1
+4
+3
+3
+3
+1
+1
+2
+4
+3
+3
+3
+3
+2
+3
+2
+3
+2
+1
+4
+2
+1
+4
+2
+1
+1
+2
+2
+3
+3
+3
+3
+1
+2
+1
+4
+4
+4
+4
+1
+4
+2
+3
+3
+3
+3
+2
+3
+4
+4
+2
+4
+3
+1
+2
+2
+2
+2
+3
+3
+1
+2
+3
+4
+4
+1
+3
+2
+4
+1
+1
+4
+2
+2
+1
+3
+1
+2
+4
+3
+3
+1
+3
+3
+4
+2
+1
+3
+4
+2
+4
+2
+4
+4
+2
+4
+2
+1
+2
+4
+4
+4
+3
+3
+3
+3
+4
+1
+4
+2
+2
+4
+3
+4
+4
+4
+2
+1
+4
+1
+3
+4
+1
+4
+2
+3
+4
+2
+4
+4
+4
+2
+1
+1
+3
+4
+3
+4
+2
+1
+3
+1
+1
+1
+1
+4
+1
+3
+1
+4
+4
+2
+2
+3
+4
+4
+2
+4
+3
+4
+3
+4
+4
+3
+2
+1
+3
+4
+2
+3
+3
+4
+2
+4
+3
+4
+3
+3
+1
+4
+3
+2
+1
+3
+4
+3
+2
+1
+1
+3
+3
+4
+2
+2
+3
+1
+2
+4
+1
+1
+4
+4
+1
+1
+4
+4
+3
+2
+2
+4
+1
+4
+3
+4
+4
+2
+3
+2
+3
+1
+1
+1
+4
+2
+2
+4
+1
+1
+4
+1
+2
+4
+1
+2
+2
+1
+2
+4
+1
+2
+2
+1
+2
+3
+4
+1
+2
+1
+1
+3
+2
+1
+2
+2
+4
+1
+2
+4
+2
+3
+4
+4
+1
+4
+4
+2
+2
+2
+4
+1
+2
+2
+1
+2
+3
+2
+1
+2
+2
+4
+4
+2
+3
+2
+4
+2
+3
+4
+3
+3
+1
+4
+4
+3
+3
+3
+3
+1
+2
+2
+1
+2
+3
+2
+4
+1
+4
+3
+1
+4
+3
+4
+1
+4
+3
+1
+3
+2
+4
+4
+2
+3
+4
+2
+4
+4
+3
+4
+1
+4
+4
+2
+3
+1
+1
+3
+2
+2
+2
+3
+2
+3
+4
+1
+4
+3
+3
+2
+4
+3
+3
+4
+3
+2
+3
+4
+1
+4
+2
+1
+4
+1
+2
+1
+2
+4
+3
+4
+2
+4
+3
+2
+2
+4
+2
+2
+4
+4
+2
+2
+3
+2
+4
+3
+1
+3
+3
+4
+1
+2
+4
+2
+2
+1
+3
+3
+3
+4
+3
+3
+3
+4
+1
+1
+3
+3
+3
+1
+4
+1
+4
+4
+4
+3
+3
+2
+1
+4
+2
+4
+1
+4
+2
+4
+4
+4
+2
+1
+1
+1
+1
+4
+2
+3
+4
+2
+2
+2
+1
+4
+1
+4
+2
+3
+3
+3
+1
+3
+4
+2
+4
+4
+4
+4
+1
+2
+2
+2
+2
+4
+1
+4
+2
+2
+1
+3
+2
+1
+2
+3
+4
+3
+3
+3
+1
+4
+3
+1
+3
+2
+3
+2
+1
+3
+1
+1
+2
+4
+4
+3
+4
+2
+1
+1
+4
+3
+4
+4
+2
+1
+1
+2
+2
+4
+2
+3
+1
+4
+4
+3
+3
+2
+1
+1
+1
+2
+4
+1
+3
+4
+3
+3
+4
+3
+3
+2
+4
+2
+4
+2
+3
+4
+4
+3
+4
+1
+4
+4
+1
+3
+1
+4
+1
+1
+1
+4
+2
+3
+4
+1
+3
+4
+3
+3
+2
+4
+3
+4
+4
+1
+4
+2
+1
+2
+4
+1
+2
+2
+2
+1
+3
+2
+2
+2
+3
+3
+4
+1
+4
+3
+4
+3
+2
+2
+2
+2
+4
+4
+4
+1
+3
+4
+1
+2
+3
+3
+1
+2
+4
+4
+3
+1
+1
+3
+4
+3
+3
+2
+3
+2
+1
+4
+2
+3
+1
+2
+4
+2
+2
+4
+3
+2
+2
+4
+4
+1
+4
+2
+4
+1
+3
+1
+2
+1
+3
+1
+3
+2
+4
+3
+4
+3
+3
+2
+4
+3
+1
+2
+4
+3
+4
+4
+4
+1
+3
+3
+3
+2
+2
+4
+1
+2
+4
+3
+3
+2
+1
+2
+4
+3
+1
+4
+3
+1
+4
+1
+2
+4
+2
+3
+1
+4
+4
+2
+3
+2
+3
+3
+2
+4
+1
+2
+4
+1
+3
+1
+4
+4
+2
+3
+1
+2
+4
+1
+3
+2
+2
+1
+2
+3
+2
+3
+4
+1
+2
+4
+1
+2
+3
+3
+4
+4
+3
+3
+1
+1
+2
+3
+4
+3
+1
+2
+2
+1
+2
+4
+2
+4
+1
+2
+3
+4
+2
+4
+4
+1
+2
+4
+1
+1
+3
+3
+4
+2
+2
+4
+4
+2
+4
+1
+3
+2
+4
+4
+2
+2
+2
+2
+1
+2
+2
+4
+2
+1
+1
+3
+1
+1
+3
+4
+4
+1
+2
+2
+3
+2
+1
+1
+1
+3
+3
+1
+2
+3
+1
+1
+3
+2
+4
+4
+2
+4
+4
+1
+3
+2
+4
+3
+1
+4
+1
+4
+4
+4
+3
+2
+2
+2
+3
+2
+4
+4
+3
+4
+1
+3
+1
+2
+2
+2
+3
+2
+3
+3
+4
+1
+3
+1
+3
+3
+2
+1
+4
+3
+3
+2
+4
+4
+2
+2
+2
+2
+3
+4
+1
+1
+4
+4
+1
+3
+4
+4
+2
+3
+3
+3
+2
+2
+2
+4
+2
+3
+3
+4
+1
+4
+1
+3
+1
+4
+3
+2
+1
+1
+4
+2
+3
+4
+1
+3
+2
+2
+3
+2
+1
+4
+4
+2
+3
+3
+3
+2
+3
+4
+4
+2
+3
+4
+2
+1
+2
+2
+2
+4
+2
+2
+1
+4
+4
+1
+1
+4
+1
+1
+3
+4
+4
+3
+3
+4
+3
+3
+4
+3
+4
+3
+4
+4
+3
+2
+1
+1
+3
+3
+3
+1
+1
+3
+3
+1
+4
+2
+2
+3
+2
+1
+3
+2
+2
+2
+4
+3
+4
+4
+3
+2
+1
+4
+1
+3
+2
+3
+3
+3
+4
+2
+3
+4
+1
+3
+2
+1
+2
+1
+2
+4
+4
+2
+2
+1
+2
+1
+4
+1
+4
+4
+4
+2
+2
+3
+1
+1
+1
+4
+4
+2
+4
+1
+3
+2
+2
+4
+3
+2
+1
+3
+3
+4
+4
+3
+1
+1
+4
+4
+3
+3
+1
+4
+3
+2
+1
+3
+3
+1
+1
+4
+3
+4
+2
+4
+2
+3
+2
+1
+2
+1
+3
+1
+3
+1
+3
+3
+4
+3
+2
+3
+4
+3
+2
+2
+3
+3
+4
+2
+1
+1
+3
+2
+3
+1
+2
+3
+2
+2
+4
+4
+2
+2
+2
+3
+2
+2
+1
+2
+1
+2
+2
+4
+3
+4
+2
+3
+2
+3
+2
+4
+3
+2
+2
+2
+2
+1
+3
+1
+3
+2
+4
+3
+1
+1
+3
+4
+3
+4
+4
+1
+1
+1
+1
+3
+3
+2
+2
+3
+3
+2
+2
+2
+1
+3
+2
+1
+4
+4
+4
+3
+3
+1
+1
+3
+3
+4
+2
+2
+4
+4
+4
+4
+4
+2
+2
+2
+4
+1
+2
+2
+2
+2
+1
+1
+4
+2
+4
+3
+4
+4
+3
+2
+2
+2
+1
+3
+4
+1
+3
+3
+2
+4
+2
+3
+2
+1
+2
+1
+2
+3
+2
+4
+4
+3
+1
+3
+2
+4
+1
+2
+3
+4
+2
+4
+4
+1
+3
+4
+1
+4
+2
+2
+3
+1
+1
+2
+2
+2
+2
+3
+4
+3
+1
+4
+4
+1
+3
+1
+4
+4
+4
+4
+4
+2
+3
+3
+3
+3
+4
+3
+3
+1
+2
+2
+2
+1
+3
+4
+4
+1
+1
+4
+1
+1
+1
+2
+1
+4
+3
+3
+2
+3
+4
+3
+1
+1
+3
+3
+1
+4
+3
+2
+2
+3
+4
+2
+2
+4
+3
+2
+3
+3
+3
+2
+4
+4
+4
+2
+2
+1
+1
+2
+1
+4
+2
+4
+3
+1
+2
+2
+1
+4
+1
+4
+3
+4
+3
+4
+3
+1
+4
+1
+2
+1
+4
+1
+2
+2
+4
+1
+2
+1
+3
+3
+4
+3
+2
+1
+3
+4
+2
+4
+1
+4
+2
+1
+2
+4
+4
+3
+4
+1
+1
+2
+4
+1
+4
+4
+4
+2
+2
+1
+4
+3
+4
+2
+4
+1
+4
+2
+2
+3
+4
+1
+2
+2
+2
+1
+4
+2
+2
+1
+2
+2
+2
+4
+3
+2
+1
+2
+1
+3
+3
+2
+4
+4
+2
+2
+3
+2
+3
+2
+2
+1
+1
+3
+2
+2
+2
+4
+4
+1
+4
+3
+4
+2
+4
+4
+3
+1
+2
+1
+3
+3
+1
+1
+4
+1
+3
+1
+4
+4
+2
+4
+4
+4
+1
+1
+1
+2
+3
+4
+1
+1
+3
+4
+4
+3
+1
+1
+1
+2
+2
+4
+4
+2
+4
+1
+3
+4
+3
+2
+2
+2
+3
+1
+3
+4
+2
+3
+3
+4
+2
+3
+3
+2
+4
+4
+3
+4
+4
+2
+3
+3
+2
+4
+3
+2
+4
+1
+4
+4
+2
+4
+1
+1
+4
+4
+1
+1
+4
+2
+2
+3
+3
+1
+3
+4
+2
+2
+3
+4
+3
+4
+1
+1
+2
+2
+4
+1
+2
+4
+4
+4
+4
+3
+2
+2
+2
+4
+3
+3
+2
+4
+3
+2
+3
+3
+1
+1
+4
+2
+3
+1
+2
+2
+4
+1
+3
+4
+2
+4
+1
+4
+1
+2
+3
+1
+3
+1
+3
+1
+4
+3
+2
+3
+4
+1
+3
+3
+2
+4
+3
+1
+3
+3
+3
+3
+2
+1
+3
+4
+2
+1
+2
+2
+1
+2
+3
+1
+4
+1
+3
+1
+1
+4
+2
+4
+1
+4
+3
+1
+3
+2
+3
+4
+4
+3
+3
+1
+4
+4
+3
+4
+4
+3
+4
+3
+2
+1
+1
+2
+1
+1
+4
+1
+4
+4
+2
+2
+3
+1
+4
+3
+2
+3
+2
+2
+3
+1
+4
+3
+1
+3
+4
+2
+2
+4
+2
+4
+1
+2
+4
+2
+3
+1
+4
+3
+1
+1
+4
+3
+1
+2
+2
+4
+3
+1
+2
+1
+2
+3
+4
+4
+1
+1
+3
+3
+1
+4
+2
+4
+2
+4
+1
+1
+1
+1
+1
+4
+4
+2
+3
+3
+4
+3
+2
+2
+3
+4
+4
+1
+2
+2
+4
+4
+4
+1
+4
+3
+4
+4
+2
+1
+4
+3
+4
+3
+2
+4
+2
+2
+2
+1
+3
+2
+2
+3
+4
+4
+4
+4
+3
+4
+4
+4
+2
+4
+4
+3
+1
+2
+3
+4
+2
+2
+3
+2
+3
+1
+1
+2
+2
+2
+1
+4
+4
+2
+2
+4
+2
+1
+1
+4
+1
+4
+1
+2
+2
+3
+1
+3
+1
+2
+3
+4
+1
+1
+2
+4
+3
+2
+4
+4
+3
+3
+2
+4
+1
+4
+4
+1
+2
+2
+3
+4
+3
+1
+1
+3
+1
+1
+2
+2
+3
+2
+3
+3
+3
+4
+1
+2
+3
+4
+2
+2
+3
+2
+1
+3
+1
+1
+1
+2
+1
+2
+2
+4
+2
+4
+4
+3
+1
+2
+2
+4
+3
+4
+2
+3
+2
+4
+2
+2
+3
+3
+2
+3
+1
+3
+4
+3
+4
+2
+3
+4
+1
+2
+2
+1
+1
+4
+4
+1
+3
+1
+1
+2
+4
+3
+2
+3
+2
+1
+2
+1
+3
+1
+4
+2
+3
+4
+3
+4
+2
+4
+1
+4
+2
+4
+4
+2
+3
+2
+4
+2
+4
+2
+3
+2
+2
+2
+2
+2
+3
+4
+4
+3
+1
+2
+2
+1
+2
+2
+1
+2
+4
+3
+3
+1
+1
+3
+4
+1
+3
+3
+2
+2
+2
+4
+4
+3
+4
+4
+2
+3
+4
+4
+1
+4
+2
+1
+2
+1
+1
+2
+4
+4
+3
+3
+1
+4
+2
+3
+3
+3
+2
+1
+3
+4
+4
+4
+3
+3
+1
+2
+2
+4
+1
+1
+1
+4
+3
+3
+4
+3
+3
+3
+3
+1
+3
+3
+3
+3
+3
+1
+1
+3
+2
+1
+3
+4
+3
+2
+4
+2
+3
+4
+4
+4
+3
+4
+4
+2
+1
+1
+3
+4
+1
+2
+4
+3
+3
+4
+3
+4
+1
+3
+4
+3
+3
+1
+2
+3
+2
+3
+2
+4
+4
+3
+3
+2
+2
+4
+4
+1
+1
+2
+4
+2
+2
+2
+4
+2
+2
+4
+2
+4
+2
+4
+4
+4
+2
+4
+1
+1
+4
+1
+4
+2
+1
+2
+4
+2
+1
+4
+4
+2
+2
+3
+1
+1
+4
+2
+2
+4
+2
+2
+4
+3
+4
+2
+2
+2
+1
+4
+1
+1
+1
+4
+2
+4
+1
+4
+2
+1
+3
+1
+3
+2
+3
+3
+1
+2
+4
+3
+3
+3
+1
+3
+2
+1
+2
+2
+3
+2
+1
+2
+3
+1
+4
+3
+4
+2
+1
+4
+2
+3
+3
+3
+4
+2
+1
+2
+3
+1
+4
+2
+4
+3
+2
+3
+2
+4
+4
+1
+4
+1
+4
+3
+4
+3
+2
+4
+3
+4
+3
+2
+2
+3
+1
+3
+3
+3
+3
+1
+2
+1
+2
+4
+4
+1
+4
+2
+4
+4
+4
+2
+2
+3
+3
+2
+3
+3
+1
+4
+3
+3
+4
+2
+1
+1
+2
+4
+1
+1
+2
+3
+2
+3
+4
+2
+4
+1
+4
+2
+1
+3
+3
+3
+4
+3
+1
+3
+2
+2
+4
+4
+1
+2
+1
+1
+3
+4
+1
+1
+3
+2
+1
+3
+4
+3
+4
+4
+1
+2
+4
+1
+4
+3
+2
+3
+4
+2
+2
+4
+1
+2
+2
+1
+1
+3
+4
+3
+3
+4
+1
+3
+3
+1
+4
+4
+1
+3
+4
+2
+3
+4
+3
+3
+1
+3
+2
+4
+4
+4
+2
+3
+2
+3
+1
+2
+4
+3
+3
+4
+4
+3
+3
+3
+3
+2
+1
+2
+1
+1
+2
+3
+1
+3
+4
+1
+1
+4
+1
+1
+3
+3
+3
+3
+2
+2
+2
+3
+4
+4
+2
+4
+4
+2
+4
+2
+3
+2
+4
+2
+1
+1
+2
+3
+2
+3
+1
+2
+4
+1
+1
+3
+3
+1
+3
+2
+2
+2
+4
+3
+3
+4
+2
+4
+2
+4
+3
+2
+1
+4
+2
+1
+4
+1
+3
+3
+4
+2
+4
+4
+4
+1
+1
+1
+2
+2
+2
+1
+4
+3
+1
+4
+3
+1
+1
+4
+4
+1
+2
+1
+1
+2
+3
+1
+3
+4
+1
+4
+2
+1
+1
+1
+2
+2
+3
+4
+2
+4
+4
+4
+3
+4
+4
+3
+2
+1
+1
+3
+4
+4
+3
+1
+3
+1
+3
+2
+2
+3
+4
+4
+3
+2
+3
+2
+4
+4
+3
+3
+4
+4
+4
+1
+3
+2
+2
+4
+2
+3
+1
+2
+4
+3
+4
+4
+3
+4
+4
+2
+3
+1
+1
+2
+3
+4
+2
+3
+2
+3
+2
+1
+1
+4
+3
+3
+1
+1
+1
+3
+3
+3
+1
+2
+4
+1
+1
+1
+4
+1
+3
+4
+2
+4
+3
+1
+4
+1
+4
+2
+3
+2
+3
+2
+4
+1
+2
+3
+4
+3
+1
+1
+3
+2
+1
+3
+3
+4
+4
+1
+4
+1
+1
+3
+2
+3
+1
+4
+2
+2
+3
+4
+1
+3
+2
+1
+2
+1
+2
+1
+4
+3
+4
+1
+3
+4
+2
+4
+1
+1
+1
+1
+2
+3
+2
+3
+3
+3
+1
+3
+3
+3
+3
+2
+3
+4
+1
+2
+1
+3
+4
+2
+3
+4
+4
+2
+1
+4
+4
+3
+4
+3
+4
+2
+3
+1
+2
+2
+4
+2
+2
+4
+1
+3
+1
+4
+4
+2
+3
+2
+2
+1
+2
+4
+2
+4
+2
+1
+4
+3
+4
+4
+3
+3
+1
+1
+3
+4
+4
+4
+2
+1
+4
+4
+2
+1
+2
+1
+2
+1
+2
+2
+1
+1
+1
+3
+2
+4
+4
+3
+4
+2
+2
+3
+4
+2
+2
+1
+3
+4
+1
+2
+2
+4
+4
+1
+4
+3
+3
+3
+1
+2
+2
+4
+3
+1
+1
+3
+1
+2
+4
+4
+3
+4
+2
+2
+2
+1
+4
+4
+3
+3
+4
+1
+4
+4
+3
+4
+4
+4
+2
+1
+3
+1
+4
+3
+4
+3
+3
+4
+2
+4
+2
+2
+1
+2
+1
+2
+1
+3
+1
+3
+2
+2
+2
+1
+4
+2
+1
+4
+1
+3
+4
+1
+4
+2
+3
+1
+2
+3
+4
+3
+3
+3
+3
+4
+1
+3
+3
+3
+4
+4
+2
+3
+3
+2
+1
+4
+4
+4
+4
+1
+2
+2
+3
+2
+3
+4
+1
+3
+3
+4
+1
+3
+1
+2
+4
+1
+3
+1
+3
+4
+4
+2
+4
+3
+1
+1
+4
+2
+2
+2
+1
+2
+4
+3
+4
+2
+3
+1
+1
+1
+4
+2
+2
+2
+1
+1
+2
+2
+4
+3
+2
+1
+3
+4
+3
+4
+4
+3
+1
+4
+1
+2
+3
+4
+2
+4
+2
+2
+1
+3
+2
+4
+2
+2
+4
+3
+2
+1
+2
+4
+4
+1
+2
+1
+2
+4
+2
+1
+3
+3
+4
+4
+2
+4
+4
+4
+4
+2
+2
+2
+2
+2
+3
+4
+3
+3
+1
+1
+3
+2
+3
+1
+1
+3
+4
+4
+1
+2
+1
+4
+4
+2
+1
+3
+4
+3
+4
+1
+2
+4
+3
+2
+3
+3
+1
+2
+3
+1
+1
+3
+2
+1
+2
+2
+3
+3
+3
+2
+3
+1
+4
+1
+4
+3
+3
+4
+1
+4
+4
+4
+2
+2
+2
+4
+4
+2
+1
+1
+4
+1
+2
+4
+4
+4
+3
+4
+4
+4
+1
+4
+3
+3
+3
+1
+3
+4
+3
+4
+4
+1
+3
+4
+1
+1
+3
+4
+1
+1
+3
+3
+1
+3
+4
+1
+2
+4
+1
+1
+3
+1
+4
+4
+3
+4
+2
+1
+4
+2
+3
+1
+4
+3
+4
+1
+1
+4
+3
+2
+1
+4
+1
+1
+4
+2
+2
+2
+2
+1
+3
+1
+3
+4
+4
+2
+3
+1
+4
+1
+4
+1
+1
+4
+2
+3
+3
+4
+1
+1
+3
+1
+3
+4
+4
 1
+4
 1
+2
 3
-3
+2
 4
-3
-3
 4
+2
+1
 4
 3
 3
-4
-3
+2
 3
+2
+2
 1
-3
 4
 3
+4
+2
+2
+2
+1
+2
+1
+1
 3
+4
+4
+1
+2
+1
 3
+2
+4
+4
 3
+1
+4
+4
+4
 3
+4
+1
+2
 3
-3
+1
+2
 3
 2
 4
 2
 4
+4
 3
 3
-3
-3
-3
-3
-3
+1
+1
+4
+2
 2
 3
+2
+4
+4
 3
+4
+4
 3
+2
 3
 3
-3
-3
+1
+1
 1
 2
-3
-3
-3
-3
 2
 3
-3
-1
 4
 4
-3
-3
-3
-3
-3
+2
+2
 4
+4
+2
 3
+1
 3
-3
-3
-3
-3
+2
+4
 3
 3
 3
 4
-3
 2
 1
 2
-3
+1
 2
 2
+4
 2
 2
+3
 2
 2
 2
+1
 3
 1
+4
 2
-3
-3
+1
 2
 2
-3
+4
+2
+1
+2
 2
 2
 3
 1
-1
-3
-3
-3
 3
+4
 2
-3
-3
+4
+4
 2
-3
-3
-3
-3
-3
-3
+2
+1
+1
 3
 4
 3
+4
+4
 3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
+4
 1
-3
-3
-3
-3
-3
-3
-3
-3
-3
+1
+4
+4
 2
+1
 3
 3
+2
+4
 3
 3
 3
-3
-3
-3
-3
+2
+2
+4
+4
 1
+1
+3
+4
+4
 3
+4
+4
 2
 3
 2
 2
+2
 3
 3
-3
-3
-3
+1
+4
 2
-3
 2
 3
 3
-3
-3
-3
-3
+4
 4
 3
+2
 3
+4
+4
 3
+2
 3
 3
+4
+4
 3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-2
-3
+4
 2
 2
-3
-3
-3
 4
-3
+1
+2
+1
 4
+2
+1
 3
-3
-3
+1
 2
 3
+2
 3
+1
 3
 4
+2
+2
+4
+4
+4
+2
+4
 3
+2
 3
+2
 3
 3
 3
 3
+2
+1
+1
+4
+2
+2
+2
 1
 3
 3
 2
-1
 2
+1
+3
 2
 3
+2
+1
 4
-3
 4
 3
+2
 3
+4
+1
+4
 3
+1
 3
-3
-3
 2
+2
+4
+1
 3
 3
+2
 3
 3
+4
 3
+1
+1
+4
+4
+1
 3
+4
+4
+4
+1
 3
+4
+2
 3
 3
 3
+4
+4
+4
 3
+2
+4
+1
+2
+4
+1
+1
+2
 3
+2
+2
 3
 2
+2
+2
+4
+4
 3
 3
 3
+4
 3
+4
+4
+4
 3
+2
 4
 2
+4
+1
 3
+4
+2
+2
 3
 3
-3
+1
+1
 3
 3
 2
-3
-3
 2
-4
+2
 3
 2
 3
@@ -2947,678 +8950,1054 @@
 2
 1
 2
-3
 2
 3
-3
+4
+1
 1
 3
-3
+4
 2
+1
+2
+4
 2
 3
+2
+1
+4
 3
-3
-3
-3
-3
-3
-3
 4
+4
+4
+2
+2
+2
+1
+1
+1
 3
 3
 4
+4
+1
+1
+4
+1
 3
+4
+4
 3
-2
 1
 2
+2
 1
+2
+2
 3
 3
-3
-4
 2
+4
 3
 3
+4
+4
+1
+4
+4
+4
+4
 3
+1
 3
 2
+2
+2
 3
+2
+1
+2
+1
 3
+1
 3
 3
-3
+2
+2
 4
-3
 2
 2
+1
+2
 3
-3
 2
+4
+2
+4
 2
-3
+4
+1
 2
+1
+4
+1
+1
 2
+1
+1
+2
+1
 3
+2
+1
 3
 3
+4
+4
 3
-3
+1
+4
+1
 3
 1
+2
 1
 3
 3
+1
+4
 2
 3
+4
 3
+4
 3
 2
-4
 3
+4
 2
 2
 3
+4
+4
+1
 1
 2
+1
+1
+4
+1
 3
-3
-3
+4
 3
 2
 3
-3
-3
-3
+4
 1
 3
 3
-3
+4
 4
 2
-3
+1
 3
 3
 4
+1
+2
+4
 3
 3
+1
 3
+4
 3
+1
+1
+1
+1
+1
+2
+1
 3
+2
+1
+2
+4
+1
+1
+4
+1
 3
+4
 3
 3
 3
+4
+4
+2
 3
+1
+1
+2
+1
 3
+4
+1
+2
+4
+4
+2
+4
+1
 3
+1
 3
+4
+4
+4
+2
+1
+2
+1
+4
+1
+1
 3
+1
 3
 3
-3
+2
+4
+2
 4
 3
+2
+2
+2
+4
+1
 3
+2
 3
 3
+1
 3
 3
+2
 3
 2
 3
+1
+1
+4
+1
+1
+1
+4
+1
+4
+2
 2
 3
 3
+4
+4
+4
+2
 3
 3
+1
+3
+2
+4
+2
+2
+1
+2
+4
+2
+1
+2
+2
+4
+1
+4
 4
 3
+4
+4
+1
+1
+1
+1
+2
 3
+4
+4
+2
+2
+1
+1
+4
+2
+4
 3
+2
+4
+2
+4
 3
 3
+2
+4
+4
+4
 3
 4
 3
 3
+4
+2
+4
+4
 1
 3
+4
 2
+1
 4
-3
-3
-3
 4
+2
 3
-1
 2
+4
+2
+4
 2
-3
-3
 1
-3
-3
 1
-3
 2
-3
 4
-3
 4
 2
 4
 3
-3
+2
 3
 2
+1
+1
+4
+1
 4
 3
 4
+1
+2
 3
 2
 3
+1
 4
 2
-1
+2
 3
 4
+4
 3
 2
-2
-2
-3
 3
+2
 3
 3
 3
+2
+4
+2
+4
 3
+4
+1
 3
-2
 3
+1
 3
 2
 3
+4
 2
 3
-3
-3
+4
 1
 2
+2
 3
-3
-3
-3
-3
+4
+4
+2
+2
+1
+1
+1
+1
 1
 3
-3
-3
-3
-3
+1
 3
 3
 4
-3
 2
+2
+1
 3
-3
-4
 4
+2
 4
 2
 2
 3
 3
-3
-1
-3
+4
 1
 2
 3
-2
-3
-3
 3
 3
+1
+2
 3
 2
+1
 2
-3
 2
 3
 2
 3
 3
+4
+4
 2
-3
-3
-3
-3
-3
-3
-3
-3
-3
-1
-3
-3
 4
-3
 4
 3
 4
 2
 2
+1
 4
+2
+2
 3
 1
+4
+1
+4
 1
 2
+4
 2
-3
-2
-3
-3
-3
+1
 4
+4
+1
 3
-3
+2
+1
 3
 4
+1
 4
 3
 1
-3
-4
+2
 2
 3
+4
 3
-3
-3
-3
+1
+4
 3
 3
 4
+1
 2
 4
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
 1
-3
-3
-3
+1
+1
 2
-3
+1
 2
-3
+1
 2
-3
 1
-3
-3
-3
-3
-3
-3
+4
 3
 2
 3
 2
 2
-3
-3
-3
-3
 2
-3
-3
-3
-3
-3
 4
-3
-3
 4
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
 1
 2
-3
+1
+1
+4
+1
+1
+1
+4
+1
 4
-3
 2
-3
+4
+4
 2
-3
-3
-3
-3
-3
+4
+1
 3
 2
 3
 3
 3
 3
+2
+2
+4
 3
+4
+2
+1
+2
 3
 3
+2
+4
+2
+4
 3
+2
 3
+4
 3
 3
-3
+1
 2
 3
+1
 3
 3
 3
+1
 3
+1
+4
+1
 3
+4
+1
+4
+2
 3
+2
+1
+2
+2
+4
+2
+1
+2
+2
 3
+1
+4
+1
+2
 3
+2
+2
+4
+1
+2
+4
+1
+4
+2
 3
-3
-3
+1
+4
+1
+2
+4
+1
 2
+1
+1
 3
+4
+1
+4
 3
+2
+4
 3
+1
+1
 3
 4
+1
+4
 3
 3
+1
 3
+1
 3
+1
+1
+2
 4
-3
+1
 3
 2
+2
 3
+1
 3
 4
-3
-3
+2
+2
+2
 4
 3
 4
-3
-3
 4
 3
-3
+1
+2
 4
-3
-3
 4
 4
 3
+2
+1
 4
 3
-3
-3
-3
-1
-1
+4
 2
 2
 2
+1
+1
 4
+4
+2
 3
 2
 1
-3
-3
-3
-3
+4
 1
 3
-2
-3
+1
+1
+4
+4
 4
 4
-3
-3
-3
 3
 1
-3
 1
-3
+4
+4
 2
+4
 3
+1
 2
+1
+4
 2
-2
-3
-3
-3
-3
+1
 3
+1
 3
 3
+4
+2
 3
+4
+1
+2
+2
+1
 3
 1
 3
 2
-3
+1
 4
+4
+2
+2
 3
+4
 3
-3
-3
+2
+1
+1
 3
 2
 3
 3
+1
+1
 3
 4
 3
-3
 2
+1
 4
+1
+1
 3
 4
-3
-3
 2
+4
+1
+1
+4
+4
 3
 3
-3
+1
+4
+2
+4
+4
+4
+1
 2
+1
+4
 2
+1
+4
+1
+3
+4
 3
+4
+4
+4
 3
+1
 3
 3
 4
 2
 3
-2
-3
 4
 1
+4
 1
-3
-3
+2
+2
 1
+3
+2
+2
 4
+2
 3
 2
 4
 3
 4
 4
+1
 3
 3
-3
+2
 4
-3
 2
-3
+1
 3
 2
+1
+3
+4
 3
 3
-2
+1
 4
 2
 3
+2
+2
+2
+4
 3
 2
+1
+2
 3
 3
 1
+1
+4
+3
 3
 3
 3
 4
+4
+2
+4
+3
+2
+2
+1
+4
+4
+2
 2
 3
+4
+4
+4
+2
+4
+1
 3
 3
+1
+4
 3
 1
 3
+1
+2
 3
 3
 3
+1
 2
 4
-4
-3
 3
+1
 2
 3
-3
-4
+2
 4
-3
-3
+2
 4
 3
 2
+2
+2
+2
+4
 3
 3
+4
+1
 3
+1
+2
 3
+2
+2
 3
 1
+4
+1
+4
+2
+1
+1
+4
+1
+4
 3
+1
 3
+1
+4
+1
+2
+4
+2
+1
+4
 3
+4
+2
 3
+2
+1
+2
 3
 3
+1
+4
+1
 3
 3
+2
 3
+4
+1
 3
 3
 4
 2
 4
+2
+2
+2
+1
+2
+2
+2
 3
 4
-3
+4
+1
+4
 4
 4
-3
-3
-3
 2
+4
+4
+4
+3
 2
 3
 3
 3
+4
+4
 3
+4
+1
 3
+4
+2
+2
+2
+2
+2
+1
 3
+2
+4
+1
+1
+1
 3
 3
-4
 3
 3
-1
 3
-2
-4
 3
 4
-3
 4
 3
 1
 3
+2
+2
+2
+2
 3
 3
 3
+4
 3
+2
+1
 3
+1
+4
+4
+4
+4
+4
+1
+1
+4
+2
+1
+4
 3
+4
+4
 2
 2
 2
-3
-3
+4
+4
 4
 3
+4
+1
 2
-2
+1
+4
+1
 3
+4
+1
+4
+1
 3
 3
+1
+1
+4
 2
-3
-3
 2
+1
 4
 3
+4
+1
 2
-3
 4
 3
 2
-3
-3
+2
 1
 3
+1
+2
+4
+4
+1
+1
+4
+2
+2
 3
+4
+4
+4
+1
+1
 2
 3
 2
 4
+2
 3
-3
+1
 2
+4
+1
+1
 3
 2
 2
@@ -3626,1309 +10005,1893 @@
 3
 3
 3
+4
 2
 3
-3
-3
 2
+4
 1
 2
 3
 2
-2
-2
-2
+1
+1
 3
 3
+2
+1
 4
 3
-3
 4
-3
-3
 2
-3
-3
+2
+2
 3
 2
 4
-3
-3
 2
+4
+4
+1
 3
+4
+4
 3
 3
+2
 3
-3
-3
 2
+2
+1
 4
 4
 3
-3
+2
 4
-3
 4
+4
+4
+2
+2
+4
+1
 3
+1
+1
+1
 3
+4
+1
 3
 3
 2
 2
-3
-3
+1
+4
+1
 2
-3
 1
+2
 3
+4
 3
+1
+1
 3
-3
-3
-3
-3
+2
 4
+1
 3
+2
+2
+2
+1
+2
 3
+1
 3
+1
 3
+1
+4
+1
 3
 2
+2
+1
 3
 3
 3
+1
+1
+4
+4
+4
+4
 3
+4
 3
+4
+4
 3
-3
+4
+1
+4
 2
-3
-3
+4
+4
+4
+2
+1
 2
-3
-3
-3
 2
 3
-3
-3
-3
+4
 2
 1
 3
+1
+4
 4
 3
+2
+2
+4
 3
 3
+2
+1
+4
+4
 3
 3
 3
 3
+4
 2
-3
-3
 4
+1
 3
 3
+2
+2
+4
+1
+2
 3
-3
-3
 2
+4
+2
+1
+2
+4
+4
 3
+4
+4
+4
+1
 1
+4
+4
+2
 1
+2
 1
 2
+2
 3
 3
 2
 2
+1
+4
+4
+4
+4
+2
+1
+2
+4
+2
+1
 2
+4
+4
+4
 3
+2
+1
 3
 3
+1
+2
+2
+2
+1
+1
+2
 4
 2
-3
 4
 3
 4
+2
+2
 4
 4
-3
-3
-3
-3
-3
-3
-3
+2
 2
 3
+1
+1
+4
 3
+2
+1
 3
+4
+4
+1
+1
+4
+2
+1
 3
+2
 3
+4
+4
 3
+1
+2
+4
+1
+1
+4
+2
 3
 3
-3
+1
+1
+4
+4
+4
+4
 2
 3
+4
+1
+4
+4
+1
 3
+4
+4
+4
+4
 3
+1
 2
+4
 2
-3
+1
 2
 2
-3
+4
+4
 2
+1
 4
-3
-3
 2
+1
 3
 4
 3
-1
-3
 3
+1
+1
 3
 3
+2
 3
 4
+4
+2
+4
 3
 3
 3
-3
-2
-1
 2
 2
 3
-3
-3
-3
+1
+4
+1
 2
-3
-3
 2
 2
+1
+4
+1
+1
+1
+1
+1
 3
 4
+4
 2
-3
+1
 2
-3
-3
-3
+1
 4
 2
+4
 2
-3
-2
-3
-3
-3
+4
 2
 3
 3
 3
 3
-3
-3
-3
-3
-3
+2
+4
+4
+4
+2
+1
 3
 4
 3
 3
+4
 3
 1
-3
-3
-3
+4
 1
+2
+4
+4
+4
 3
 3
+1
 3
+4
+2
+1
 2
 3
+4
 3
+1
 3
-3
+4
 4
 2
-3
-3
 4
 3
+4
 3
 3
 2
+4
+4
+1
+4
 3
 3
+1
+1
 4
 3
 2
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
+2
 1
-3
 4
-3
-3
-3
-3
 2
-3
+4
+2
+4
 3
 1
-3
-3
-3
-3
-3
 2
+1
 3
 2
-3
+2
+4
 2
 2
 4
-3
 1
 2
 3
 3
+2
+2
 3
-3
+2
 4
+4
+2
 3
+2
+1
+1
 3
+1
+2
 4
-3
+4
+2
+2
 4
 3
-3
-3
+1
+2
 1
 4
 3
+4
+1
+4
+4
 3
 2
 4
 4
+2
+2
 3
+4
+1
 3
-3
-3
-3
-3
-3
+2
 4
+1
 4
 4
-3
-3
+4
+4
+1
+1
 2
-3
 4
 3
 3
+1
+2
 3
-3
-3
-3
-3
+1
 3
 4
+2
+1
+1
 3
+1
+1
+1
 3
 3
 3
 3
+1
+2
+4
+1
+1
+1
+4
+2
+1
+4
+4
 3
+1
 4
+1
 3
 2
-4
+1
+3
+1
+3
 4
 2
 3
+1
 4
 3
 4
+1
+4
+4
+4
+2
+1
+4
+1
+2
+2
 3
 3
 4
+2
+2
+4
+4
+1
 3
 4
 4
 3
+1
+4
 3
+1
 3
 2
-1
+3
+4
 3
 3
+2
+2
+2
+1
+2
+2
 4
+1
+1
+2
+3
 4
+1
+2
+2
 4
 2
 3
-3
+1
+2
+2
+2
+2
+1
 4
+2
+1
+2
 3
-3
+2
+1
 4
 1
+4
+4
 3
 2
 3
-4
 2
 2
-3
+4
+4
 2
+4
 2
 2
+1
+1
+1
 4
+1
+1
 3
-3
+4
+1
 2
-3
-3
+4
+1
+1
+1
 3
 4
 2
-3
 4
-3
+1
+1
+4
 4
-3
 2
 3
+1
 3
 2
+3
 2
+4
 3
+4
+2
+2
+4
 3
+4
+1
+2
+4
+4
+4
+4
 1
+2
 3
 3
 3
 3
+2
 3
 1
-4
 2
 2
-3
 2
-3
-3
-3
 2
-3
 2
 2
 3
+1
 2
+2
+2
+1
+1
 3
-3
+1
 2
 3
+4
+4
 2
 4
 2
+4
 3
+4
+2
+4
+1
+2
 3
-3
 2
+4
+4
+4
+1
+2
+4
+4
 3
 2
 2
 2
-3
 2
-4
-3
-3
+1
+1
+1
 2
-3
 2
+1
+1
 2
+2
+3
+3
 4
 2
+4
+4
 3
+4
+1
+4
+1
+4
 3
+4
 1
 3
+4
 3
 2
+4
 3
-3
+1
+4
 3
 3
 2
+4
+4
+4
 3
+2
+1
+4
 3
-3
+4
+4
 3
 3
 2
 3
+2
 3
+4
 3
+2
 3
+1
 3
-3
-3
+4
+2
+2
 3
 3
 4
+1
 3
 2
 2
+4
 3
 2
+1
+2
 3
 3
+1
+1
+4
+4
+1
+2
 3
+1
 3
-3
+1
+4
 4
-3
 2
+2
+1
 3
-3
+1
 2
 3
+1
 4
 3
 3
-3
+1
 4
+4
+1
+1
 3
 4
+4
 3
 2
 2
-3
+4
 2
 4
-3
 4
-2
+1
+1
 3
 2
-3
-4
-4
+1
 2
+1
 3
 2
-4
 3
+1
+3
+1
 2
+1
+1
+3
+1
+4
 2
+4
+1
 2
 3
 3
 2
 2
 4
-3
-2
 2
-3
+1
 2
 3
+4
 3
 2
-3
-3
-3
 2
-3
-439
-3
+1
+4
+2
 3
 2
+1
+4
 4
 3
+2
+1
+2
 3
-3
+4
+1
 3
 3
 1
 4
-3
-3
+2
+2
+2
+2
+2
 4
 3
+4
+4
+4
+4
 3
 4
+4
+1
 3
 3
 2
 3
 3
+1
+4
+2
 3
 3
+2
+4
 3
+1
+2
+1
+1
+1
+4
+4
+2
+4
+1
+4
+4
+4
+1
 3
+1
+2
+1
+1
 3
+2
+4
+1
+1
 3
+4
+1
+1
+2
+4
+1
 3
+4
+4
+1
+1
 3
+1
+4
+2
+2
+4
+4
+2
 3
-3
+1
+2
+4
+4
+4
+4
+4
+1
+4
 2
 1
-3
-3
-3
 2
 1
-3
-2
-3
-2
 1
 2
-3
-3
-3
-3
 4
 3
-3
-3
-3
-3
-3
-4
 1
-3
-2
-3
-3
-3
-4
-3
-3
 4
-3
-3
-3
+2
+1
 3
 4
-4
 3
+1
 3
 2
-3
+2
+1
+1
+1
 4
 4
 2
 3
+1
 3
 3
-3
-3
-3
-3
+4
 2
+4
 3
 3
-3
-3
-2
-3
+1
+1
+4
 1
 3
 4
+1
+1
 3
+1
 2
 3
 2
 2
+1
+2
+1
 2
 3
+2
+1
+4
 3
 4
 4
 3
-3
 4
-3
-3
 2
-3
+2
+2
 4
 3
-3
-3
-3
-3
+4
 2
 3
 4
+4
+4
+1
+1
+1
+4
+4
 3
+2
+2
 3
 3
+1
 3
 2
 4
-3
 4
+2
+4
+2
+2
 4
 3
-3
-3
-3
-3
-3
-3
+4
+2
+1
+4
+4
+2
+4
 3
 4
 3
+4
+4
 3
 2
-3
-3
 4
 3
 3
 2
 2
 2
+4
+2
 3
+1
+1
+1
+1
+1
+1
+1
+4
+2
+2
+1
+1
+4
 3
+1
+4
+4
 3
+1
 3
-3
-4
+2
 3
 2
 4
 4
-2
-3
+4
 3
+4
 3
+4
+4
 2
+1
+4
+4
+1
 4
 4
 2
-3
-3
+2
 3
 4
+1
+1
+4
 3
+4
 3
-3
-3
-3
-3
+1
 3
 3
 3
 3
 4
-2
+4
 3
 3
+1
 4
 2
 3
+1
 3
 3
 2
 2
-2
-3
-3
+4
 3
+2
 1
-3
 1
+4
 3
+2
+4
 3
-3
-3
-3
-3
-3
-3
+2
 1
 3
 3
-3
+2
+4
 3
 4
+1
+3
 4
 4
+1
 3
 3
 2
-3
+2
+2
 4
 3
-3
-3
-3
 4
+1
 2
+3
 2
 2
 2
 3
-3
-3
-3
-4
+1
 3
 3
 2
-3
-3
+4
+4
 4
 3
 3
 3
+4
 3
-3
-2
-3
+4
 2
 2
 3
 2
+1
+1
+1
 2
+4
 2
+1
+1
 3
 3
-3
-4
-3
+2
+2
+1
 3
 3
+2
 3
 3
 2
+2
+2
 3
+1
 3
 3
 2
 4
 2
 3
+2
+1
+2
+2
+1
 3
-3
-3
-3
-3
-3
+2
+2
 3
 4
-3
-3
+1
 4
+2
 3
+1
+2
 3
+2
+1
+2
+2
+4
+1
+4
+4
+2
+1
+1
+2
+2
 3
+4
 3
+1
+1
 3
-3
-3
-3
-3
 2
+1
+4
+4
+2
+4
+2
+1
+1
+4
+2
+1
 3
-2
+1
+1
 3
 3
 3
+1
 3
+4
 2
+3
 4
 2
 1
-3
+4
+1
 2
 3
 3
+2
 3
-4
 3
+1
 3
+2
+2
 4
 3
 4
 3
+1
+1
+1
+2
+4
 4
-3
 2
-3
-3
-3
+2
 4
 3
+2
+2
 3
+4
+2
 1
+2
+4
+4
+1
+4
 4
-3
-3
 4
-3
-3
 2
-3
-3
+2
 4
+1
 3
+2
+2
+4
+4
+4
+1
 3
 3
 3
+2
 3
-3
-3
+2
+4
+1
 3
 1
 4
+1
 2
 3
 3
-3
-3
 4
+4
+2
 3
 1
+1
 2
 3
 1
-3
-3
-4
 4
 4
 3
 2
-3
+2
+2
+1
 1
 3
 2
 3
+4
 3
 4
 4
-2
-3
-3
+1
+4
 4
+1
 2
 3
-3
-3
-3
-3
+2
+2
 2
 2
 4
-4
+3
 2
+1
 3
 3
 3
+1
 2
-2
+4
+1
+1
+1
 3
+4
+1
 3
 2
-3
+4
 3
 2
-3
+4
+2
 1
-3
-3
-3
-3
 4
-3
-3
 4
-3
 2
 3
+1
 3
+4
+1
+1
+2
+2
+1
+1
 3
 3
 3
-3
-3
-3
-3
+1
+2
 4
 3
+1
 3
+4
 2
 4
+4
 3
+1
+2
+4
 3
+4
 3
 2
+1
+2
+1
+4
 2
+3
+1
 2
 3
 4
-3
+1
+1
+4
 4
 2
+4
 3
+4
 3
-1
-2
 2
+1
 3
+1
+1
 2
+4
 2
 2
+4
 2
 4
+2
+4
+1
+2
+1
+1
+2
+1
+1
 3
+4
+4
 3
 3
 3
-3
+2
 3
 4
+4
+1
 3
-3
-3
-3
+2
 1
+2
 4
-3
-3
-3
-3
+1
 3
 2
+4
 2
 4
 3
-3
-3
+1
+1
 2
+1
 3
 2
 4
-3
-3
-3
+1
+1
+2
 2
 4
-3
-3
-3
-3
-3
+2
+1
 3
 2
+2
+1
 3
+2
+1
+1
 3
+2
 4
-3
-3
 4
+1
+1
 2
+1
 3
-3
-3
-3
-3
-3
-3
-3
-3
-3
+2
+2
 4
 4
-3
 4
 2
-3
-3
-3
-3
+2
 4
-3
-3
-3
-3
-3
-3
-3
 4
+1
+2
 3
-3
+1
+2
 4
+2
 1
 4
+1
 3
 3
 3
+1
+2
+4
 3
+4
+1
+4
+1
+4
+2
+4
 3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
-3
+1
 3
 4
-3
 4
-3
 2
+4
+4
+2
+4
+1
 2
+1
 3
 3
+2
+1
+4
 3
-3
+1
+1
 4
 3
+4
 2
-3
 2
-3
 2
-4
 2
-3
-3
 2
 3
-3
-3
-3
-3
 2
+1
+1
 3
+1
 3
-3
+1
 3
 2
 3
+2
 3
+1
+1
+2
+4
+4
+4
+4
+4
+1
+1
+4
+2
+4
+2
 3
 4
+4
 3
 3
+2
+1
+2
+2
+4
 3
 3
 3
+4
 3
 3
+2
+2
 3
 4
+1
 3
+1
 4
-3
+1
 2
+4
+1
+4
+4
+1
+4
 2
+4
+4
+4
 2
 3
-4
 3
 3
 2
 2
+3
+2
 2
-4
 3
+3
+1
 4
 3
 3
-4
 3
+1
+1
+4
+2
+2
+1
+4
+4
 3
+1
+4
+4
 2
 1
 1
 3
 3
 3
+4
+4
+2
+1
 2
 3
+2
+2
 3
+4
+2
 3
+2
+2
 4
 4
 2
+4
 2
-3
-3
-3
 4
+2
 3
+1
 3
+2
 4
+1
+2
+2
 3
-3
+2
+2
 4
 2
-3
+1
 4
 3
 3
+2
 4
-3
-3
+1
+1
+4
+1
 4
 2
 4
+4
 3
+2
+1
+2
+4
+1
+1
+1
+1
+1
+4
 3
+4
+1
 3
-3
-3
-3
-3
-3
-3
-3
-3
-3
+2
+4
 3
 4
 4
 3
 2
 3
-3
 4
-3
-3
+1
 3
 4
 2
 3
 3
-3
 2
+1
 2
-3
+1
 3
 4
+2
 3
+2
+4
+4
 3
-3
-3
+1
+1
+1
+2
+1
 4
+1
 3
+1
 3
+2
 3
+2
 3
+4
 3
+4
+1
+1
+1
 3
 2
-3
+2
+2
 2
 3
 3
-4
 2
 3
-3
 2
 4
-3
-3
+2
+2
+1
+2
 3
 3
 4
-3
+2
+1
 4
 3
-4
+1
 4
 2
-3
-3
 4
-3
-3
-3
+1
+1
+4
+4
+4
 3
 3
 2
-3
+4
+4
 2
 2
+1
+1
+2
+2
+2
+2
+1
 2
 3
 3
 3
-3
-3
+4
+4
+2
+2
+2
+2
+4
+4
+4
+4
+2
+4
 2
 3
+1
+4
+1
+4
+2
+2
 3
 3
 3
 3
+1
+4
+4
 2
 3
-3
 2
 2
 2
 3
 3
-1
+4
+2
 3
+2
 4
+2
 4
+1
 4
 3
 4
-3
 2
+4
 3
+2
 3
+2
+2
 3
 3
+4
 3
-3
-3
-3
-3
-3
+4
 1
+4
+2
 3
-1
+4
+4
 3
-3
+4
+4
+4
+1
+4
+4

predict_results.json

@@ -1,8 +1,8 @@
 {
-    "predict_accuracy": 0.2444,
-    "predict_loss": 0.7028721570968628,
-    "predict_runtime": 203.4437,
-    "predict_samples": 4934,
-    "predict_samples_per_second": 24.252,
-    "predict_steps_per_second": 3.033
+    "predict_accuracy": 0.2201,
+    "predict_loss": 3.6130311489105225,
+    "predict_runtime": 460.6956,
+    "predict_samples": 11897,
+    "predict_samples_per_second": 25.824,
+    "predict_steps_per_second": 1.615
 }

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:437f5df7df558e518a5862598175d7afa75d893e2ebd8db5e7bc818fc47589ec
+oid sha256:e2b619a028c606383563c2f0b64cc4291b560a935c2661469879a6fe0c9aaaa4
 size 242028283

train_results.json

@@ -1,8 +1,8 @@
 {
     "epoch": 3.0,
-    "train_loss": 0.7081544108072917,
-    "train_runtime": 2860.1486,
-    "train_samples": 10000,
-    "train_samples_per_second": 10.489,
-    "train_steps_per_second": 1.311
+    "train_loss": 0.05477445060331273,
+    "train_runtime": 3408.5838,
+    "train_samples": 113128,
+    "train_samples_per_second": 99.567,
+    "train_steps_per_second": 12.446
 }

trainer_state.json

@@ -2,93 +2,555 @@
   "best_metric": null,
   "best_model_checkpoint": null,
   "epoch": 3.0,
-  "global_step": 3750,
+  "global_step": 42423,
   "is_hyper_param_search": false,
   "is_local_process_zero": true,
   "is_world_process_zero": true,
   "log_history": [
     {
-      "epoch": 0.4,
-      "learning_rate": 4.391891891891892e-05,
-      "loss": 0.9689,
+      "epoch": 0.04,
+      "learning_rate": 5e-05,
+      "loss": 1.3894,
       "step": 500
     },
     {
-      "epoch": 0.8,
-      "learning_rate": 3.7162162162162165e-05,
-      "loss": 0.7069,
+      "epoch": 0.07,
+      "learning_rate": 0.0001,
+      "loss": 0.7218,
       "step": 1000
     },
+    {
+      "epoch": 0.11,
+      "learning_rate": 9.879294111966783e-05,
+      "loss": 0.7089,
+      "step": 1500
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 9.758588223933563e-05,
+      "loss": 0.6974,
+      "step": 2000
+    },
+    {
+      "epoch": 0.18,
+      "learning_rate": 9.637882335900346e-05,
+      "loss": 0.68,
+      "step": 2500
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 9.517176447867127e-05,
+      "loss": 0.6789,
+      "step": 3000
+    },
+    {
+      "epoch": 0.25,
+      "learning_rate": 9.396470559833909e-05,
+      "loss": 0.6668,
+      "step": 3500
+    },
+    {
+      "epoch": 0.28,
+      "learning_rate": 9.275764671800691e-05,
+      "loss": 0.6663,
+      "step": 4000
+    },
+    {
+      "epoch": 0.32,
+      "learning_rate": 9.155058783767473e-05,
+      "loss": 0.6634,
+      "step": 4500
+    },
+    {
+      "epoch": 0.35,
+      "learning_rate": 9.034352895734254e-05,
+      "loss": 0.6529,
+      "step": 5000
+    },
+    {
+      "epoch": 0.39,
+      "learning_rate": 8.913647007701035e-05,
+      "loss": 0.6555,
+      "step": 5500
+    },
+    {
+      "epoch": 0.42,
+      "learning_rate": 8.792941119667818e-05,
+      "loss": 0.6464,
+      "step": 6000
+    },
+    {
+      "epoch": 0.46,
+      "learning_rate": 8.6722352316346e-05,
+      "loss": 0.6397,
+      "step": 6500
+    },
+    {
+      "epoch": 0.5,
+      "learning_rate": 8.55152934360138e-05,
+      "loss": 0.6439,
+      "step": 7000
+    },
+    {
+      "epoch": 0.53,
+      "learning_rate": 8.430823455568163e-05,
+      "loss": 0.6393,
+      "step": 7500
+    },
+    {
+      "epoch": 0.57,
+      "learning_rate": 8.310117567534945e-05,
+      "loss": 0.6352,
+      "step": 8000
+    },
+    {
+      "epoch": 0.6,
+      "learning_rate": 8.189411679501726e-05,
+      "loss": 0.6304,
+      "step": 8500
+    },
+    {
+      "epoch": 0.64,
+      "learning_rate": 8.068705791468509e-05,
+      "loss": 0.6344,
+      "step": 9000
+    },
+    {
+      "epoch": 0.67,
+      "learning_rate": 7.94799990343529e-05,
+      "loss": 0.6336,
+      "step": 9500
+    },
+    {
+      "epoch": 0.71,
+      "learning_rate": 7.827294015402071e-05,
+      "loss": 0.623,
+      "step": 10000
+    },
+    {
+      "epoch": 0.74,
+      "learning_rate": 7.706588127368853e-05,
+      "loss": 0.6186,
+      "step": 10500
+    },
+    {
+      "epoch": 0.78,
+      "learning_rate": 7.585882239335635e-05,
+      "loss": 0.6288,
+      "step": 11000
+    },
+    {
+      "epoch": 0.81,
+      "learning_rate": 7.465176351302417e-05,
+      "loss": 0.6156,
+      "step": 11500
+    },
+    {
+      "epoch": 0.85,
+      "learning_rate": 7.344470463269198e-05,
+      "loss": 0.6113,
+      "step": 12000
+    },
+    {
+      "epoch": 0.88,
+      "learning_rate": 7.223764575235981e-05,
+      "loss": 0.6182,
+      "step": 12500
+    },
+    {
+      "epoch": 0.92,
+      "learning_rate": 7.103058687202762e-05,
+      "loss": 0.6233,
+      "step": 13000
+    },
+    {
+      "epoch": 0.95,
+      "learning_rate": 6.982352799169543e-05,
+      "loss": 0.6042,
+      "step": 13500
+    },
+    {
+      "epoch": 0.99,
+      "learning_rate": 6.861646911136326e-05,
+      "loss": 0.6043,
+      "step": 14000
+    },
     {
       "epoch": 1.0,
-      "eval_accuracy": 0.396,
-      "eval_loss": 0.6522298455238342,
-      "eval_runtime": 115.0329,
-      "eval_samples_per_second": 25.949,
-      "eval_steps_per_second": 1.626,
-      "step": 1250
+      "eval_accuracy": 0.4832,
+      "eval_loss": 0.5925313234329224,
+      "eval_runtime": 306.7871,
+      "eval_samples_per_second": 25.659,
+      "eval_steps_per_second": 1.604,
+      "step": 14141
+    },
+    {
+      "epoch": 1.03,
+      "learning_rate": 6.740941023103108e-05,
+      "loss": 0.5816,
+      "step": 14500
+    },
+    {
+      "epoch": 1.06,
+      "learning_rate": 6.620235135069889e-05,
+      "loss": 0.5907,
+      "step": 15000
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 6.499529247036672e-05,
+      "loss": 0.5814,
+      "step": 15500
+    },
+    {
+      "epoch": 1.13,
+      "learning_rate": 6.378823359003453e-05,
+      "loss": 0.5949,
+      "step": 16000
+    },
+    {
+      "epoch": 1.17,
+      "learning_rate": 6.258117470970234e-05,
+      "loss": 0.5838,
+      "step": 16500
     },
     {
       "epoch": 1.2,
-      "learning_rate": 3.0405405405405407e-05,
-      "loss": 0.6881,
-      "step": 1500
+      "learning_rate": 6.137411582937016e-05,
+      "loss": 0.5823,
+      "step": 17000
     },
     {
-      "epoch": 1.6,
-      "learning_rate": 2.364864864864865e-05,
-      "loss": 0.6751,
-      "step": 2000
+      "epoch": 1.24,
+      "learning_rate": 6.016705694903798e-05,
+      "loss": 0.5872,
+      "step": 17500
     },
     {
-      "epoch": 2.0,
-      "learning_rate": 1.6891891891891892e-05,
-      "loss": 0.6595,
-      "step": 2500
+      "epoch": 1.27,
+      "learning_rate": 5.895999806870579e-05,
+      "loss": 0.5779,
+      "step": 18000
+    },
+    {
+      "epoch": 1.31,
+      "learning_rate": 5.775293918837361e-05,
+      "loss": 0.5744,
+      "step": 18500
+    },
+    {
+      "epoch": 1.34,
+      "learning_rate": 5.654588030804143e-05,
+      "loss": 0.5833,
+      "step": 19000
+    },
+    {
+      "epoch": 1.38,
+      "learning_rate": 5.533882142770924e-05,
+      "loss": 0.5855,
+      "step": 19500
+    },
+    {
+      "epoch": 1.41,
+      "learning_rate": 5.413176254737706e-05,
+      "loss": 0.5836,
+      "step": 20000
+    },
+    {
+      "epoch": 1.45,
+      "learning_rate": 5.292470366704488e-05,
+      "loss": 0.5793,
+      "step": 20500
+    },
+    {
+      "epoch": 1.49,
+      "learning_rate": 5.17176447867127e-05,
+      "loss": 0.57,
+      "step": 21000
+    },
+    {
+      "epoch": 1.52,
+      "learning_rate": 5.051058590638052e-05,
+      "loss": 0.5792,
+      "step": 21500
+    },
+    {
+      "epoch": 1.56,
+      "learning_rate": 4.930352702604834e-05,
+      "loss": 0.5577,
+      "step": 22000
+    },
+    {
+      "epoch": 1.59,
+      "learning_rate": 4.809646814571615e-05,
+      "loss": 0.5729,
+      "step": 22500
+    },
+    {
+      "epoch": 1.63,
+      "learning_rate": 4.6889409265383964e-05,
+      "loss": 0.5618,
+      "step": 23000
+    },
+    {
+      "epoch": 1.66,
+      "learning_rate": 4.5682350385051784e-05,
+      "loss": 0.5678,
+      "step": 23500
+    },
+    {
+      "epoch": 1.7,
+      "learning_rate": 4.4475291504719604e-05,
+      "loss": 0.5723,
+      "step": 24000
+    },
+    {
+      "epoch": 1.73,
+      "learning_rate": 4.326823262438742e-05,
+      "loss": 0.5616,
+      "step": 24500
+    },
+    {
+      "epoch": 1.77,
+      "learning_rate": 4.206117374405524e-05,
+      "loss": 0.5707,
+      "step": 25000
+    },
+    {
+      "epoch": 1.8,
+      "learning_rate": 4.085411486372305e-05,
+      "loss": 0.5626,
+      "step": 25500
+    },
+    {
+      "epoch": 1.84,
+      "learning_rate": 3.964705598339087e-05,
+      "loss": 0.5703,
+      "step": 26000
+    },
+    {
+      "epoch": 1.87,
+      "learning_rate": 3.843999710305869e-05,
+      "loss": 0.5683,
+      "step": 26500
+    },
+    {
+      "epoch": 1.91,
+      "learning_rate": 3.7232938222726505e-05,
+      "loss": 0.555,
+      "step": 27000
+    },
+    {
+      "epoch": 1.94,
+      "learning_rate": 3.6025879342394325e-05,
+      "loss": 0.5664,
+      "step": 27500
+    },
+    {
+      "epoch": 1.98,
+      "learning_rate": 3.481882046206214e-05,
+      "loss": 0.5647,
+      "step": 28000
     },
     {
       "epoch": 2.0,
-      "eval_accuracy": 0.4693,
-      "eval_loss": 0.6009056568145752,
-      "eval_runtime": 115.9298,
-      "eval_samples_per_second": 25.748,
-      "eval_steps_per_second": 1.613,
-      "step": 2500
+      "eval_accuracy": 0.5152,
+      "eval_loss": 0.5659283995628357,
+      "eval_runtime": 306.5061,
+      "eval_samples_per_second": 25.683,
+      "eval_steps_per_second": 1.605,
+      "step": 28282
+    },
+    {
+      "epoch": 2.02,
+      "learning_rate": 3.361176158172996e-05,
+      "loss": 0.5582,
+      "step": 28500
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 3.240470270139778e-05,
+      "loss": 0.5302,
+      "step": 29000
+    },
+    {
+      "epoch": 2.09,
+      "learning_rate": 3.119764382106559e-05,
+      "loss": 0.545,
+      "step": 29500
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 2.9990584940733412e-05,
+      "loss": 0.5382,
+      "step": 30000
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 2.878352606040123e-05,
+      "loss": 0.5406,
+      "step": 30500
+    },
+    {
+      "epoch": 2.19,
+      "learning_rate": 2.7576467180069043e-05,
+      "loss": 0.5418,
+      "step": 31000
+    },
+    {
+      "epoch": 2.23,
+      "learning_rate": 2.6369408299736863e-05,
+      "loss": 0.5378,
+      "step": 31500
+    },
+    {
+      "epoch": 2.26,
+      "learning_rate": 2.516234941940468e-05,
+      "loss": 0.5412,
+      "step": 32000
+    },
+    {
+      "epoch": 2.3,
+      "learning_rate": 2.3955290539072496e-05,
+      "loss": 0.538,
+      "step": 32500
+    },
+    {
+      "epoch": 2.33,
+      "learning_rate": 2.2748231658740317e-05,
+      "loss": 0.5227,
+      "step": 33000
+    },
+    {
+      "epoch": 2.37,
+      "learning_rate": 2.154117277840813e-05,
+      "loss": 0.5314,
+      "step": 33500
     },
     {
       "epoch": 2.4,
-      "learning_rate": 1.0135135135135136e-05,
-      "loss": 0.6494,
-      "step": 3000
+      "learning_rate": 2.033411389807595e-05,
+      "loss": 0.5342,
+      "step": 34000
     },
     {
-      "epoch": 2.8,
-      "learning_rate": 3.3783783783783788e-06,
-      "loss": 0.6374,
-      "step": 3500
+      "epoch": 2.44,
+      "learning_rate": 1.9127055017743767e-05,
+      "loss": 0.5381,
+      "step": 34500
+    },
+    {
+      "epoch": 2.48,
+      "learning_rate": 1.7919996137411584e-05,
+      "loss": 0.5349,
+      "step": 35000
+    },
+    {
+      "epoch": 2.51,
+      "learning_rate": 1.67129372570794e-05,
+      "loss": 0.5349,
+      "step": 35500
+    },
+    {
+      "epoch": 2.55,
+      "learning_rate": 1.5505878376747217e-05,
+      "loss": 0.5409,
+      "step": 36000
+    },
+    {
+      "epoch": 2.58,
+      "learning_rate": 1.4298819496415036e-05,
+      "loss": 0.5149,
+      "step": 36500
+    },
+    {
+      "epoch": 2.62,
+      "learning_rate": 1.3091760616082854e-05,
+      "loss": 0.5289,
+      "step": 37000
+    },
+    {
+      "epoch": 2.65,
+      "learning_rate": 1.1884701735750671e-05,
+      "loss": 0.5207,
+      "step": 37500
+    },
+    {
+      "epoch": 2.69,
+      "learning_rate": 1.0677642855418488e-05,
+      "loss": 0.5263,
+      "step": 38000
+    },
+    {
+      "epoch": 2.72,
+      "learning_rate": 9.470583975086306e-06,
+      "loss": 0.5246,
+      "step": 38500
+    },
+    {
+      "epoch": 2.76,
+      "learning_rate": 8.263525094754123e-06,
+      "loss": 0.5242,
+      "step": 39000
+    },
+    {
+      "epoch": 2.79,
+      "learning_rate": 7.056466214421941e-06,
+      "loss": 0.5349,
+      "step": 39500
+    },
+    {
+      "epoch": 2.83,
+      "learning_rate": 5.849407334089757e-06,
+      "loss": 0.5321,
+      "step": 40000
+    },
+    {
+      "epoch": 2.86,
+      "learning_rate": 4.642348453757574e-06,
+      "loss": 0.5215,
+      "step": 40500
+    },
+    {
+      "epoch": 2.9,
+      "learning_rate": 3.435289573425392e-06,
+      "loss": 0.5194,
+      "step": 41000
+    },
+    {
+      "epoch": 2.93,
+      "learning_rate": 2.228230693093209e-06,
+      "loss": 0.5224,
+      "step": 41500
+    },
+    {
+      "epoch": 2.97,
+      "learning_rate": 1.0211718127610264e-06,
+      "loss": 0.5237,
+      "step": 42000
     },
     {
       "epoch": 3.0,
-      "eval_accuracy": 0.4794,
-      "eval_loss": 0.5928728580474854,
-      "eval_runtime": 114.8963,
-      "eval_samples_per_second": 25.98,
-      "eval_steps_per_second": 1.628,
-      "step": 3750
+      "eval_accuracy": 0.5259,
+      "eval_loss": 0.5759526491165161,
+      "eval_runtime": 306.403,
+      "eval_samples_per_second": 25.692,
+      "eval_steps_per_second": 1.606,
+      "step": 42423
     },
     {
       "epoch": 3.0,
-      "step": 3750,
-      "total_flos": 4060254044160000.0,
-      "train_loss": 0.7081544108072917,
-      "train_runtime": 2860.1486,
-      "train_samples_per_second": 10.489,
-      "train_steps_per_second": 1.311
+      "step": 42423,
+      "total_flos": 4.593284195077325e+16,
+      "train_loss": 0.05477445060331273,
+      "train_runtime": 3408.5838,
+      "train_samples_per_second": 99.567,
+      "train_steps_per_second": 12.446
     }
   ],
-  "max_steps": 3750,
+  "max_steps": 42423,
   "num_train_epochs": 3,
-  "total_flos": 4060254044160000.0,
+  "total_flos": 4.593284195077325e+16,
   "trial_name": null,
   "trial_params": null
 }