Upload results/evaluation with huggingface_hub

results/evaluation/general_evaluation_results.txt

@@ -0,0 +1,189 @@
+--- Bagian tentang question type ---
+-- Bagian tentang question type yang terprediksi BENAR --
+Banyak pertanyaan APA: 2814, sebesar: 23.52 %
+Banyak pertanyaan DIMANA: 460, sebesar: 3.85 %
+Banyak pertanyaan KAPAN: 460, sebesar: 3.85 %
+Banyak pertanyaan SIAPA: 695, sebesar: 5.81 %
+Banyak pertanyaan BAGAIMANA: 85, sebesar: 0.71 %
+Banyak pertanyaan KENAPA: 36, sebesar: 0.3 %
+Banyak pertanyaan BERAPA: 907, sebesar: 7.58 %
+Banyak pertanyaan LAINNYA: 509, sebesar: 4.26 %
+
+-- Bagian tentang question type yang terprediksi SALAH --
+Banyak pertanyaan APA: 3445, sebesar: 28.8 %
+Banyak pertanyaan DIMANA: 454, sebesar: 3.8 %
+Banyak pertanyaan KAPAN: 234, sebesar: 1.96 %
+Banyak pertanyaan SIAPA: 341, sebesar: 2.85 %
+Banyak pertanyaan BAGAIMANA: 256, sebesar: 2.14 %
+Banyak pertanyaan KENAPA: 158, sebesar: 1.32 %
+Banyak pertanyaan BERAPA: 573, sebesar: 4.79 %
+Banyak pertanyaan LAINNYA: 535, sebesar: 4.47 %
+
+-- Presentase kebenaran --
+Banyak pertanyaan APA yang terpediksi benar sebesar: 44.96 %
+Banyak pertanyaan DIMANA yang terpediksi benar sebesar: 50.33 %
+Banyak pertanyaan KAPAN yang terpediksi benar sebesar: 66.28 %
+Banyak pertanyaan SIAPA yang terpediksi benar sebesar: 67.08 %
+Banyak pertanyaan BAGAIMANA yang terpediksi benar sebesar: 24.93 %
+Banyak pertanyaan KENAPA yang terpediksi benar sebesar: 18.56 %
+Banyak pertanyaan BERAPA yang terpediksi benar sebesar: 61.28 %
+Banyak pertanyaan LAINNYA yang terpediksi benar sebesar: 48.75 %
+
+--- Bagian tentang panjang context ---
+-- Bagian tentang panjang context yang terprediksi BENAR --
+Panjang konteks < 100: 2931, sebesar: 24.5 %
+Panjang konteks 101 <= x <= 150: 3035, sebesar: 25.37 %
+Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
+Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
+Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
+Panjang konteks > 300: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang context yang terprediksi SALAH --
+Panjang konteks < 100: 2951, sebesar: 24.67 %
+Panjang konteks 101 <= x <= 150: 3045, sebesar: 25.46 %
+Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
+Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
+Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
+Panjang konteks > 300: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang konteks < 100 yang terprediksi benar sebesar: 49.83 %
+Panjang konteks 101 <= x <= 150 yang terprediksi benar sebesar: 49.92 %
+Panjang konteks 151 <= x <= 200 yang terprediksi benar sebesar: 0 %
+Panjang konteks 201 <= x <= 250 yang terprediksi benar sebesar: 0 %
+Panjang konteks 251 <= x <= 300 yang terprediksi benar sebesar: 0 %
+Panjang konteks > 300 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang panjang question ---
+-- Bagian tentang panjang question yang terprediksi BENAR --
+Panjang question 1 <= x <= 5: 726, sebesar: 6.07 %
+Panjang question 6 <= x <= 10: 5240, sebesar: 43.81 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang question yang terprediksi SALAH --
+Panjang question 1 <= x <= 5: 778, sebesar: 6.5 %
+Panjang question 6 <= x <= 10: 5218, sebesar: 43.62 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 48.27 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 50.11 %
+Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
+Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
+Panjang question > 20 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang panjang gold answer ---
+-- Bagian tentang panjang gold answer yang terprediksi BENAR --
+Panjang question 1 <= x <= 5: 5543, sebesar: 46.34 %
+Panjang question 6 <= x <= 10: 423, sebesar: 3.54 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang gold answer yang terprediksi SALAH --
+Panjang question 1 <= x <= 5: 4937, sebesar: 41.27 %
+Panjang question 6 <= x <= 10: 1059, sebesar: 8.85 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 52.89 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 28.54 %
+Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
+Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
+Panjang question > 20 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang answer type ---
+-- Bagian tentang answer type yang terprediksi BENAR --
+Banyak answer type Person sebanyak: 907, sekitar 7.119309262166405 %
+Banyak answer type NORP sebanyak: 156, sekitar 1.2244897959183674 %
+Banyak answer type Facility sebanyak: 18, sekitar 0.141287284144427 %
+Banyak answer type Organization sebanyak: 241, sekitar 1.891679748822606 %
+Banyak answer type Geo-Political Entity sebanyak: 510, sekitar 4.003139717425432 %
+Banyak answer type Location sebanyak: 291, sekitar 2.28414442700157 %
+Banyak answer type Product sebanyak: 504, sekitar 3.9560439560439558 %
+Banyak answer type Event sebanyak: 63, sekitar 0.49450549450549447 %
+Banyak answer type Work of Art sebanyak: 27, sekitar 0.2119309262166405 %
+Banyak answer type Law sebanyak: 48, sekitar 0.3767660910518053 %
+Banyak answer type Language sebanyak: 3, sekitar 0.02354788069073783 %
+Banyak answer type Date sebanyak: 498, sekitar 3.90894819466248 %
+Banyak answer type Time sebanyak: 3, sekitar 0.02354788069073783 %
+Banyak answer type Percent sebanyak: 67, sekitar 0.5259026687598116 %
+Banyak answer type Money sebanyak: 128, sekitar 1.0047095761381475 %
+Banyak answer type Quantity sebanyak: 135, sekitar 1.0596546310832025 %
+Banyak answer type Ordinal sebanyak: 275, sekitar 2.1585557299843012 %
+Banyak answer type Cardinal sebanyak: 298, sekitar 2.339089481946625 %
+Banyak answer type REG sebanyak: 64, sekitar 0.5023547880690737 %
+Banyak answer type Null sebanyak: 2063, sekitar 16.19309262166405 %
+
+-- Bagian tentang answer type yang terprediksi SALAH --
+Banyak answer type Person sebanyak: 396, sekitar 3.108320251177394 %
+Banyak answer type NORP sebanyak: 113, sekitar 0.8869701726844583 %
+Banyak answer type Facility sebanyak: 21, sekitar 0.16483516483516483 %
+Banyak answer type Organization sebanyak: 214, sekitar 1.6797488226059654 %
+Banyak answer type Geo-Political Entity sebanyak: 521, sekitar 4.089481946624804 %
+Banyak answer type Location sebanyak: 241, sekitar 1.891679748822606 %
+Banyak answer type Product sebanyak: 466, sekitar 3.6577708006279437 %
+Banyak answer type Event sebanyak: 49, sekitar 0.38461538461538464 %
+Banyak answer type Work of Art sebanyak: 16, sekitar 0.12558869701726844 %
+Banyak answer type Law sebanyak: 34, sekitar 0.2668759811616954 %
+Banyak answer type Language sebanyak: 5, sekitar 0.03924646781789639 %
+Banyak answer type Date sebanyak: 195, sekitar 1.530612244897959 %
+Banyak answer type Time sebanyak: 2, sekitar 0.015698587127158554 %
+Banyak answer type Percent sebanyak: 45, sekitar 0.35321821036106754 %
+Banyak answer type Money sebanyak: 82, sekitar 0.6436420722135008 %
+Banyak answer type Quantity sebanyak: 200, sekitar 1.5698587127158554 %
+Banyak answer type Ordinal sebanyak: 112, sekitar 0.8791208791208791 %
+Banyak answer type Cardinal sebanyak: 309, sekitar 2.425431711145997 %
+Banyak answer type REG sebanyak: 67, sekitar 0.5259026687598116 %
+Banyak answer type Null sebanyak: 3353, sekitar 26.31868131868132 %
+
+-- Presentase kebenaran --
+Banyak answer type Person yang terprediksi benar sebesar: 69.61 %
+Banyak answer type NORP yang terprediksi benar sebesar: 57.99 %
+Banyak answer type Facility yang terprediksi benar sebesar: 46.15 %
+Banyak answer type Organization yang terprediksi benar sebesar: 52.97 %
+Banyak answer type Geo-Political Entity yang terprediksi benar sebesar: 49.47 %
+Banyak answer type Location yang terprediksi benar sebesar: 54.7 %
+Banyak answer type Product yang terprediksi benar sebesar: 51.96 %
+Banyak answer type Event yang terprediksi benar sebesar: 56.25 %
+Banyak answer type Work of Art yang terprediksi benar sebesar: 62.79 %
+Banyak answer type Law yang terprediksi benar sebesar: 58.54 %
+Banyak answer type Language yang terprediksi benar sebesar: 37.5 %
+Banyak answer type Date yang terprediksi benar sebesar: 71.86 %
+Banyak answer type Time yang terprediksi benar sebesar: 60.0 %
+Banyak answer type Percent yang terprediksi benar sebesar: 59.82 %
+Banyak answer type Money yang terprediksi benar sebesar: 60.95 %
+Banyak answer type Quantity yang terprediksi benar sebesar: 40.3 %
+Banyak answer type Ordinal yang terprediksi benar sebesar: 71.06 %
+Banyak answer type Cardinal yang terprediksi benar sebesar: 49.09 %
+Banyak answer type REG yang terprediksi benar sebesar: 48.85 %
+Banyak answer type Null yang terprediksi benar sebesar: 38.09 %
+
+--- Bagian tentang reasoning type ---
+-- Bagian tentang reasoning type yang terprediksi BENAR --
+Banyak reasoning type berjenis WM sebanyak: 5, sebesar: 5.0 %
+Banyak reasoning type berjenis PP sebanyak: 11, sebesar: 11.0 %
+Banyak reasoning type berjenis SSR sebanyak: 10, sebesar: 10.0 %
+Banyak reasoning type berjenis MSR sebanyak: 3, sebesar: 3.0 %
+Banyak reasoning type berjenis AoI sebanyak: 27, sebesar: 27.0 %
+
+-- Bagian tentang reasoning type yang terprediksi SALAH --
+Banyak reasoning type berjenis WM sebanyak: 4, sebesar: 4.0 %
+Banyak reasoning type berjenis PP sebanyak: 6, sebesar: 6.0 %
+Banyak reasoning type berjenis SSR sebanyak: 4, sebesar: 4.0 %
+Banyak reasoning type berjenis MSR sebanyak: 6, sebesar: 6.0 %
+Banyak reasoning type berjenis AoI sebanyak: 24, sebesar: 24.0 %
+
+-- Presentase kebenaran --
+Banyak reasoning type berjenis WM yang terprediksi benar sebesar: 55.56 %
+Banyak reasoning type berjenis PP yang terprediksi benar sebesar: 64.71 %
+Banyak reasoning type berjenis SSR yang terprediksi benar sebesar: 71.43 %
+Banyak reasoning type berjenis MSR yang terprediksi benar sebesar: 33.33 %
+Banyak reasoning type berjenis AoI yang terprediksi benar sebesar: 52.94 %
+

results/evaluation/metric_result.txt

@@ -0,0 +1 @@
+{'exact_match': 49.540210667112525, 'f1': 66.69283418028387}