Upload results/evaluation with huggingface_hub

results/evaluation/general_evaluation_results.txt

@@ -0,0 +1,189 @@
+--- Bagian tentang question type ---
+-- Bagian tentang question type yang terprediksi BENAR --
+Banyak pertanyaan APA: 151, sebesar: 17.81 %
+Banyak pertanyaan DIMANA: 25, sebesar: 2.95 %
+Banyak pertanyaan KAPAN: 113, sebesar: 13.33 %
+Banyak pertanyaan SIAPA: 48, sebesar: 5.66 %
+Banyak pertanyaan BAGAIMANA: 5, sebesar: 0.59 %
+Banyak pertanyaan KENAPA: 4, sebesar: 0.47 %
+Banyak pertanyaan BERAPA: 74, sebesar: 8.73 %
+Banyak pertanyaan LAINNYA: 86, sebesar: 10.14 %
+
+-- Bagian tentang question type yang terprediksi SALAH --
+Banyak pertanyaan APA: 117, sebesar: 13.8 %
+Banyak pertanyaan DIMANA: 24, sebesar: 2.83 %
+Banyak pertanyaan KAPAN: 60, sebesar: 7.08 %
+Banyak pertanyaan SIAPA: 28, sebesar: 3.3 %
+Banyak pertanyaan BAGAIMANA: 7, sebesar: 0.83 %
+Banyak pertanyaan KENAPA: 4, sebesar: 0.47 %
+Banyak pertanyaan BERAPA: 37, sebesar: 4.36 %
+Banyak pertanyaan LAINNYA: 65, sebesar: 7.67 %
+
+-- Presentase kebenaran --
+Banyak pertanyaan APA yang terpediksi benar sebesar: 56.34 %
+Banyak pertanyaan DIMANA yang terpediksi benar sebesar: 51.02 %
+Banyak pertanyaan KAPAN yang terpediksi benar sebesar: 65.32 %
+Banyak pertanyaan SIAPA yang terpediksi benar sebesar: 63.16 %
+Banyak pertanyaan BAGAIMANA yang terpediksi benar sebesar: 41.67 %
+Banyak pertanyaan KENAPA yang terpediksi benar sebesar: 50.0 %
+Banyak pertanyaan BERAPA yang terpediksi benar sebesar: 66.67 %
+Banyak pertanyaan LAINNYA yang terpediksi benar sebesar: 56.95 %
+
+--- Bagian tentang panjang context ---
+-- Bagian tentang panjang context yang terprediksi BENAR --
+Panjang konteks < 100: 370, sebesar: 43.63 %
+Panjang konteks 101 <= x <= 150: 136, sebesar: 16.04 %
+Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
+Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
+Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
+Panjang konteks > 300: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang context yang terprediksi SALAH --
+Panjang konteks < 100: 220, sebesar: 25.94 %
+Panjang konteks 101 <= x <= 150: 122, sebesar: 14.39 %
+Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
+Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
+Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
+Panjang konteks > 300: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang konteks < 100 yang terprediksi benar sebesar: 62.71 %
+Panjang konteks 101 <= x <= 150 yang terprediksi benar sebesar: 52.71 %
+Panjang konteks 151 <= x <= 200 yang terprediksi benar sebesar: 0 %
+Panjang konteks 201 <= x <= 250 yang terprediksi benar sebesar: 0 %
+Panjang konteks 251 <= x <= 300 yang terprediksi benar sebesar: 0 %
+Panjang konteks > 300 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang panjang question ---
+-- Bagian tentang panjang question yang terprediksi BENAR --
+Panjang question 1 <= x <= 5: 253, sebesar: 29.83 %
+Panjang question 6 <= x <= 10: 253, sebesar: 29.83 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang question yang terprediksi SALAH --
+Panjang question 1 <= x <= 5: 138, sebesar: 16.27 %
+Panjang question 6 <= x <= 10: 204, sebesar: 24.06 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 64.71 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 55.36 %
+Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
+Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
+Panjang question > 20 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang panjang gold answer ---
+-- Bagian tentang panjang gold answer yang terprediksi BENAR --
+Panjang question 1 <= x <= 5: 448, sebesar: 52.83 %
+Panjang question 6 <= x <= 10: 58, sebesar: 6.84 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang gold answer yang terprediksi SALAH --
+Panjang question 1 <= x <= 5: 282, sebesar: 33.25 %
+Panjang question 6 <= x <= 10: 60, sebesar: 7.08 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 61.37 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 49.15 %
+Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
+Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
+Panjang question > 20 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang answer type ---
+-- Bagian tentang answer type yang terprediksi BENAR --
+Banyak answer type Person sebanyak: 26, sekitar 2.888888888888889 %
+Banyak answer type NORP sebanyak: 3, sekitar 0.33333333333333337 %
+Banyak answer type Facility sebanyak: 1, sekitar 0.1111111111111111 %
+Banyak answer type Organization sebanyak: 1, sekitar 0.1111111111111111 %
+Banyak answer type Geo-Political Entity sebanyak: 22, sekitar 2.4444444444444446 %
+Banyak answer type Location sebanyak: 7, sekitar 0.7777777777777778 %
+Banyak answer type Product sebanyak: 13, sekitar 1.4444444444444444 %
+Banyak answer type Event sebanyak: 1, sekitar 0.1111111111111111 %
+Banyak answer type Work of Art sebanyak: 4, sekitar 0.4444444444444444 %
+Banyak answer type Law sebanyak: 0, sekitar 0.0 %
+Banyak answer type Language sebanyak: 0, sekitar 0.0 %
+Banyak answer type Date sebanyak: 59, sekitar 6.555555555555556 %
+Banyak answer type Time sebanyak: 0, sekitar 0.0 %
+Banyak answer type Percent sebanyak: 1, sekitar 0.1111111111111111 %
+Banyak answer type Money sebanyak: 4, sekitar 0.4444444444444444 %
+Banyak answer type Quantity sebanyak: 16, sekitar 1.7777777777777777 %
+Banyak answer type Ordinal sebanyak: 13, sekitar 1.4444444444444444 %
+Banyak answer type Cardinal sebanyak: 10, sekitar 1.1111111111111112 %
+Banyak answer type REG sebanyak: 1, sekitar 0.1111111111111111 %
+Banyak answer type Null sebanyak: 338, sekitar 37.55555555555555 %
+
+-- Bagian tentang answer type yang terprediksi SALAH --
+Banyak answer type Person sebanyak: 29, sekitar 3.2222222222222223 %
+Banyak answer type NORP sebanyak: 3, sekitar 0.33333333333333337 %
+Banyak answer type Facility sebanyak: 1, sekitar 0.1111111111111111 %
+Banyak answer type Organization sebanyak: 10, sekitar 1.1111111111111112 %
+Banyak answer type Geo-Political Entity sebanyak: 21, sekitar 2.3333333333333335 %
+Banyak answer type Location sebanyak: 14, sekitar 1.5555555555555556 %
+Banyak answer type Product sebanyak: 19, sekitar 2.111111111111111 %
+Banyak answer type Event sebanyak: 3, sekitar 0.33333333333333337 %
+Banyak answer type Work of Art sebanyak: 3, sekitar 0.33333333333333337 %
+Banyak answer type Law sebanyak: 0, sekitar 0.0 %
+Banyak answer type Language sebanyak: 1, sekitar 0.1111111111111111 %
+Banyak answer type Date sebanyak: 25, sekitar 2.7777777777777777 %
+Banyak answer type Time sebanyak: 1, sekitar 0.1111111111111111 %
+Banyak answer type Percent sebanyak: 1, sekitar 0.1111111111111111 %
+Banyak answer type Money sebanyak: 2, sekitar 0.2222222222222222 %
+Banyak answer type Quantity sebanyak: 10, sekitar 1.1111111111111112 %
+Banyak answer type Ordinal sebanyak: 3, sekitar 0.33333333333333337 %
+Banyak answer type Cardinal sebanyak: 17, sekitar 1.8888888888888888 %
+Banyak answer type REG sebanyak: 9, sekitar 1.0 %
+Banyak answer type Null sebanyak: 208, sekitar 23.11111111111111 %
+
+-- Presentase kebenaran --
+Banyak answer type Person yang terprediksi benar sebesar: 47.27 %
+Banyak answer type NORP yang terprediksi benar sebesar: 50.0 %
+Banyak answer type Facility yang terprediksi benar sebesar: 50.0 %
+Banyak answer type Organization yang terprediksi benar sebesar: 9.09 %
+Banyak answer type Geo-Political Entity yang terprediksi benar sebesar: 51.16 %
+Banyak answer type Location yang terprediksi benar sebesar: 33.33 %
+Banyak answer type Product yang terprediksi benar sebesar: 40.62 %
+Banyak answer type Event yang terprediksi benar sebesar: 25.0 %
+Banyak answer type Work of Art yang terprediksi benar sebesar: 57.14 %
+Banyak answer type Law yang terprediksi benar sebesar: 0 %
+Banyak answer type Language yang terprediksi benar sebesar: 0.0 %
+Banyak answer type Date yang terprediksi benar sebesar: 70.24 %
+Banyak answer type Time yang terprediksi benar sebesar: 0.0 %
+Banyak answer type Percent yang terprediksi benar sebesar: 50.0 %
+Banyak answer type Money yang terprediksi benar sebesar: 66.67 %
+Banyak answer type Quantity yang terprediksi benar sebesar: 61.54 %
+Banyak answer type Ordinal yang terprediksi benar sebesar: 81.25 %
+Banyak answer type Cardinal yang terprediksi benar sebesar: 37.04 %
+Banyak answer type REG yang terprediksi benar sebesar: 10.0 %
+Banyak answer type Null yang terprediksi benar sebesar: 61.9 %
+
+--- Bagian tentang reasoning type ---
+-- Bagian tentang reasoning type yang terprediksi BENAR --
+Banyak reasoning type berjenis WM sebanyak: 7, sebesar: 7.0 %
+Banyak reasoning type berjenis PP sebanyak: 7, sebesar: 7.0 %
+Banyak reasoning type berjenis SSR sebanyak: 1, sebesar: 1.0 %
+Banyak reasoning type berjenis MSR sebanyak: 8, sebesar: 8.0 %
+Banyak reasoning type berjenis AoI sebanyak: 40, sebesar: 40.0 %
+
+-- Bagian tentang reasoning type yang terprediksi SALAH --
+Banyak reasoning type berjenis WM sebanyak: 3, sebesar: 3.0 %
+Banyak reasoning type berjenis PP sebanyak: 2, sebesar: 2.0 %
+Banyak reasoning type berjenis SSR sebanyak: 4, sebesar: 4.0 %
+Banyak reasoning type berjenis MSR sebanyak: 5, sebesar: 5.0 %
+Banyak reasoning type berjenis AoI sebanyak: 23, sebesar: 23.0 %
+
+-- Presentase kebenaran --
+Banyak reasoning type berjenis WM yang terprediksi benar sebesar: 70.0 %
+Banyak reasoning type berjenis PP yang terprediksi benar sebesar: 77.78 %
+Banyak reasoning type berjenis SSR yang terprediksi benar sebesar: 20.0 %
+Banyak reasoning type berjenis MSR yang terprediksi benar sebesar: 61.54 %
+Banyak reasoning type berjenis AoI yang terprediksi benar sebesar: 63.49 %
+

results/evaluation/metric_result.txt

@@ -0,0 +1 @@
+{'exact_match': 59.551886792452834, 'f1': 66.19653155908797}