Upload results/evaluation with huggingface_hub

results/evaluation/general_evaluation_results.txt

@@ -0,0 +1,189 @@
+--- Bagian tentang question type ---
+-- Bagian tentang question type yang terprediksi BENAR --
+Banyak pertanyaan APA: 2474, sebesar: 20.73 %
+Banyak pertanyaan DIMANA: 376, sebesar: 3.15 %
+Banyak pertanyaan KAPAN: 446, sebesar: 3.74 %
+Banyak pertanyaan SIAPA: 645, sebesar: 5.4 %
+Banyak pertanyaan BAGAIMANA: 80, sebesar: 0.67 %
+Banyak pertanyaan KENAPA: 36, sebesar: 0.3 %
+Banyak pertanyaan BERAPA: 835, sebesar: 7.0 %
+Banyak pertanyaan LAINNYA: 464, sebesar: 3.89 %
+
+-- Bagian tentang question type yang terprediksi SALAH --
+Banyak pertanyaan APA: 3776, sebesar: 31.64 %
+Banyak pertanyaan DIMANA: 536, sebesar: 4.49 %
+Banyak pertanyaan KAPAN: 249, sebesar: 2.09 %
+Banyak pertanyaan SIAPA: 388, sebesar: 3.25 %
+Banyak pertanyaan BAGAIMANA: 261, sebesar: 2.19 %
+Banyak pertanyaan KENAPA: 158, sebesar: 1.32 %
+Banyak pertanyaan BERAPA: 639, sebesar: 5.35 %
+Banyak pertanyaan LAINNYA: 572, sebesar: 4.79 %
+
+-- Presentase kebenaran --
+Banyak pertanyaan APA yang terpediksi benar sebesar: 39.58 %
+Banyak pertanyaan DIMANA yang terpediksi benar sebesar: 41.23 %
+Banyak pertanyaan KAPAN yang terpediksi benar sebesar: 64.17 %
+Banyak pertanyaan SIAPA yang terpediksi benar sebesar: 62.44 %
+Banyak pertanyaan BAGAIMANA yang terpediksi benar sebesar: 23.46 %
+Banyak pertanyaan KENAPA yang terpediksi benar sebesar: 18.56 %
+Banyak pertanyaan BERAPA yang terpediksi benar sebesar: 56.65 %
+Banyak pertanyaan LAINNYA yang terpediksi benar sebesar: 44.79 %
+
+--- Bagian tentang panjang context ---
+-- Bagian tentang panjang context yang terprediksi BENAR --
+Panjang konteks < 100: 2160, sebesar: 18.1 %
+Panjang konteks 101 <= x <= 150: 3196, sebesar: 26.78 %
+Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
+Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
+Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
+Panjang konteks > 300: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang context yang terprediksi SALAH --
+Panjang konteks < 100: 2609, sebesar: 21.86 %
+Panjang konteks 101 <= x <= 150: 3970, sebesar: 33.26 %
+Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
+Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
+Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
+Panjang konteks > 300: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang konteks < 100 yang terprediksi benar sebesar: 45.29 %
+Panjang konteks 101 <= x <= 150 yang terprediksi benar sebesar: 44.6 %
+Panjang konteks 151 <= x <= 200 yang terprediksi benar sebesar: 0 %
+Panjang konteks 201 <= x <= 250 yang terprediksi benar sebesar: 0 %
+Panjang konteks 251 <= x <= 300 yang terprediksi benar sebesar: 0 %
+Panjang konteks > 300 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang panjang question ---
+-- Bagian tentang panjang question yang terprediksi BENAR --
+Panjang question 1 <= x <= 5: 640, sebesar: 5.36 %
+Panjang question 6 <= x <= 10: 4716, sebesar: 39.51 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang question yang terprediksi SALAH --
+Panjang question 1 <= x <= 5: 778, sebesar: 6.52 %
+Panjang question 6 <= x <= 10: 5801, sebesar: 48.6 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 45.13 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 44.84 %
+Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
+Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
+Panjang question > 20 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang panjang gold answer ---
+-- Bagian tentang panjang gold answer yang terprediksi BENAR --
+Panjang question 1 <= x <= 5: 4972, sebesar: 41.66 %
+Panjang question 6 <= x <= 10: 384, sebesar: 3.22 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang gold answer yang terprediksi SALAH --
+Panjang question 1 <= x <= 5: 5263, sebesar: 44.1 %
+Panjang question 6 <= x <= 10: 1316, sebesar: 11.03 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 48.58 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 22.59 %
+Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
+Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
+Panjang question > 20 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang answer type ---
+-- Bagian tentang answer type yang terprediksi BENAR --
+Banyak answer type Person sebanyak: 623, sekitar 4.922566371681416 %
+Banyak answer type NORP sebanyak: 72, sekitar 0.5689001264222503 %
+Banyak answer type Facility sebanyak: 20, sekitar 0.15802781289506954 %
+Banyak answer type Organization sebanyak: 169, sekitar 1.3353350189633375 %
+Banyak answer type Geo-Political Entity sebanyak: 275, sekitar 2.172882427307206 %
+Banyak answer type Location sebanyak: 187, sekitar 1.4775600505689002 %
+Banyak answer type Product sebanyak: 586, sekitar 4.630214917825537 %
+Banyak answer type Event sebanyak: 34, sekitar 0.2686472819216182 %
+Banyak answer type Work of Art sebanyak: 44, sekitar 0.347661188369153 %
+Banyak answer type Law sebanyak: 23, sekitar 0.18173198482932998 %
+Banyak answer type Language sebanyak: 0, sekitar 0.0 %
+Banyak answer type Date sebanyak: 531, sekitar 4.195638432364096 %
+Banyak answer type Time sebanyak: 2, sekitar 0.015802781289506955 %
+Banyak answer type Percent sebanyak: 72, sekitar 0.5689001264222503 %
+Banyak answer type Money sebanyak: 134, sekitar 1.058786346396966 %
+Banyak answer type Quantity sebanyak: 131, sekitar 1.0350821744627055 %
+Banyak answer type Ordinal sebanyak: 286, sekitar 2.2597977243994944 %
+Banyak answer type Cardinal sebanyak: 276, sekitar 2.18078381795196 %
+Banyak answer type REG sebanyak: 62, sekitar 0.4898862199747156 %
+Banyak answer type Null sebanyak: 2149, sekitar 16.98008849557522 %
+
+-- Bagian tentang answer type yang terprediksi SALAH --
+Banyak answer type Person sebanyak: 356, sekitar 2.8128950695322374 %
+Banyak answer type NORP sebanyak: 81, sekitar 0.6400126422250316 %
+Banyak answer type Facility sebanyak: 14, sekitar 0.11061946902654868 %
+Banyak answer type Organization sebanyak: 146, sekitar 1.1536030341340076 %
+Banyak answer type Geo-Political Entity sebanyak: 391, sekitar 3.0894437420986094 %
+Banyak answer type Location sebanyak: 207, sekitar 1.6355878634639696 %
+Banyak answer type Product sebanyak: 620, sekitar 4.898862199747155 %
+Banyak answer type Event sebanyak: 37, sekitar 0.29235145385587863 %
+Banyak answer type Work of Art sebanyak: 39, sekitar 0.3081542351453856 %
+Banyak answer type Law sebanyak: 24, sekitar 0.18963337547408343 %
+Banyak answer type Language sebanyak: 2, sekitar 0.015802781289506955 %
+Banyak answer type Date sebanyak: 242, sekitar 1.9121365360303413 %
+Banyak answer type Time sebanyak: 2, sekitar 0.015802781289506955 %
+Banyak answer type Percent sebanyak: 62, sekitar 0.4898862199747156 %
+Banyak answer type Money sebanyak: 93, sekitar 0.7348293299620733 %
+Banyak answer type Quantity sebanyak: 217, sekitar 1.7146017699115044 %
+Banyak answer type Ordinal sebanyak: 129, sekitar 1.0192793931731985 %
+Banyak answer type Cardinal sebanyak: 360, sekitar 2.844500632111252 %
+Banyak answer type REG sebanyak: 56, sekitar 0.4424778761061947 %
+Banyak answer type Null sebanyak: 3902, sekitar 30.831226295828067 %
+
+-- Presentase kebenaran --
+Banyak answer type Person yang terprediksi benar sebesar: 63.64 %
+Banyak answer type NORP yang terprediksi benar sebesar: 47.06 %
+Banyak answer type Facility yang terprediksi benar sebesar: 58.82 %
+Banyak answer type Organization yang terprediksi benar sebesar: 53.65 %
+Banyak answer type Geo-Political Entity yang terprediksi benar sebesar: 41.29 %
+Banyak answer type Location yang terprediksi benar sebesar: 47.46 %
+Banyak answer type Product yang terprediksi benar sebesar: 48.59 %
+Banyak answer type Event yang terprediksi benar sebesar: 47.89 %
+Banyak answer type Work of Art yang terprediksi benar sebesar: 53.01 %
+Banyak answer type Law yang terprediksi benar sebesar: 48.94 %
+Banyak answer type Language yang terprediksi benar sebesar: 0.0 %
+Banyak answer type Date yang terprediksi benar sebesar: 68.69 %
+Banyak answer type Time yang terprediksi benar sebesar: 50.0 %
+Banyak answer type Percent yang terprediksi benar sebesar: 53.73 %
+Banyak answer type Money yang terprediksi benar sebesar: 59.03 %
+Banyak answer type Quantity yang terprediksi benar sebesar: 37.64 %
+Banyak answer type Ordinal yang terprediksi benar sebesar: 68.92 %
+Banyak answer type Cardinal yang terprediksi benar sebesar: 43.4 %
+Banyak answer type REG yang terprediksi benar sebesar: 52.54 %
+Banyak answer type Null yang terprediksi benar sebesar: 35.51 %
+
+--- Bagian tentang reasoning type ---
+-- Bagian tentang reasoning type yang terprediksi BENAR --
+Banyak reasoning type berjenis WM sebanyak: 4, sebesar: 4.0 %
+Banyak reasoning type berjenis PP sebanyak: 7, sebesar: 7.0 %
+Banyak reasoning type berjenis SSR sebanyak: 7, sebesar: 7.0 %
+Banyak reasoning type berjenis MSR sebanyak: 0, sebesar: 0.0 %
+Banyak reasoning type berjenis AoI sebanyak: 24, sebesar: 24.0 %
+
+-- Bagian tentang reasoning type yang terprediksi SALAH --
+Banyak reasoning type berjenis WM sebanyak: 5, sebesar: 5.0 %
+Banyak reasoning type berjenis PP sebanyak: 10, sebesar: 10.0 %
+Banyak reasoning type berjenis SSR sebanyak: 7, sebesar: 7.0 %
+Banyak reasoning type berjenis MSR sebanyak: 9, sebesar: 9.0 %
+Banyak reasoning type berjenis AoI sebanyak: 27, sebesar: 27.0 %
+
+-- Presentase kebenaran --
+Banyak reasoning type berjenis WM yang terprediksi benar sebesar: 44.44 %
+Banyak reasoning type berjenis PP yang terprediksi benar sebesar: 41.18 %
+Banyak reasoning type berjenis SSR yang terprediksi benar sebesar: 50.0 %
+Banyak reasoning type berjenis MSR yang terprediksi benar sebesar: 0.0 %
+Banyak reasoning type berjenis AoI yang terprediksi benar sebesar: 47.06 %
+

results/evaluation/metric_result.txt

@@ -0,0 +1 @@
+{'exact_match': 44.231252618349394, 'f1': 61.09208808450658}