Upload 4 files

ITOG.csv

@@ -0,0 +1,47 @@
+model,NUM_Q_multich_EM,NUM_Q_multich_CC,NUM_Q_multich_PM,NUM_Q_onech_EM,NUM_Q_seq_EM,NUM_Q_seq_CC,NUM_Q_seq_PM,NUM_Q_map_EM,NUM_Q_map_CC,NUM_Q_map_PM,OPEN_Q_EM,OPEN_Q_F1,OPEN_Q_LR,LEADERBOARD
+GigaChat-2-Max,81.0,84.0,88.0,91.0,75.0,75.0,75.0,66.0,66.0,72.0,52.0,60.0,73.0,73.6923076923077
+claude-3-5-sonnet,84.0,85.0,90.0,94.0,73.0,73.0,73.0,43.0,44.0,46.0,63.0,69.0,78.0,70.38461538461539
+gemini-pro-1.5,73.0,78.0,84.0,91.0,66.0,66.0,66.0,59.0,60.0,66.0,55.00000000000001,67.0,77.0,69.84615384615384
+deepseek-r1,79.0,82.0,86.0,67.0,82.0,82.0,82.0,57.99999999999999,61.0,59.0,22.0,61.0,69.0,68.46153846153847
+qwen2.5:72b-instruct-q4_0,59.0,75.0,74.0,90.0,68.0,68.0,68.0,38.0,40.0,44.0,39.0,50.0,63.0,59.69230769230769
+t-tech/T-pro-it-1.0,64.0,69.0,78.0,89.0,66.0,66.0,66.0,41.0,42.0,48.0,34.0,49.0,64.0,59.69230769230769
+mistral-123b,69.0,74.0,82.0,89.0,63.0,63.0,63.0,24.0,24.0,28.000000000000004,54.0,62.0,71.0,58.92307692307692
+gpt-4o,77.0,81.0,86.0,94.0,64.0,64.0,66.0,22.0,22.0,28.999999999999996,11.0,64.0,72.0,57.84615384615385
+qwen2.5:32b-instruct-q4_0,59.0,66.0,75.0,86.0,60.0,60.0,60.0,35.0,36.0,42.0,31.0,41.0,55.00000000000001,54.30769230769231
+qwen2:72b-instruct-q4_0,56.99999999999999,70.0,73.0,86.0,63.0,63.0,63.0,33.0,34.0,39.0,12.0,45.0,55.00000000000001,53.30769230769231
+rscr/ruadapt_qwen2.5_32b:Q4_K_M,54.0,56.99999999999999,72.0,86.0,60.0,60.0,60.0,35.0,35.0,44.0,31.0,39.0,56.00000000000001,53.0
+GigaChat-Pro,61.0,64.0,76.0,79.0,45.0,45.0,45.0,25.0,25.0,30.0,48.0,55.00000000000001,68.0,51.23076923076923
+GigaChat-Max,73.0,76.0,83.0,85.0,38.0,38.0,38.0,16.0,16.0,23.0,48.0,55.00000000000001,69.0,50.61538461538461
+YandexGPT4-Pro,31.0,35.0,77.0,85.0,35.0,35.0,54.0,21.0,21.0,47.0,45.0,56.00000000000001,69.0,47.0
+YandexGPT4-Pro-32k,31.0,34.0,77.0,85.0,34.0,34.0,55.00000000000001,21.0,21.0,47.0,45.0,56.99999999999999,69.0,46.92307692307692
+gemma2:27b-instruct-q4_0,49.0,56.99999999999999,69.0,82.0,48.0,48.0,48.0,13.0,13.0,18.0,39.0,48.0,63.0,45.76923076923077
+GigaChat-Lite,56.99999999999999,61.0,72.0,75.0,38.0,38.0,38.0,13.0,13.0,17.0,35.0,42.0,56.99999999999999,42.76923076923077
+ai-sage/GigaChat-20B-A3B-instruct,30.0,33.0,44.0,76.0,42.0,42.0,42.0,12.0,12.0,16.0,38.0,47.0,61.0,38.07692307692308
+llama405,21.0,62.0,77.0,60.0,24.0,33.0,51.0,5.0,7.000000000000001,20.0,9.0,56.00000000000001,66.0,37.76923076923077
+gemma2:9b-instruct-q4_0,41.0,54.0,64.0,77.0,32.0,33.0,35.0,5.0,5.0,10.0,25.0,34.0,49.0,35.69230769230769
+llama3.1:70b-instruct-q4_0,42.0,57.99999999999999,68.0,49.0,14.000000000000002,17.0,33.0,1.0,2.0,14.000000000000002,11.0,54.0,64.0,32.84615384615385
+llama3:70b-instruct-q4_0,35.0,63.0,60.0,79.0,12.0,14.000000000000002,25.0,4.0,5.0,6.0,7.000000000000001,47.0,57.99999999999999,31.923076923076923
+YandexGPT4-Lite,33.0,38.0,57.99999999999999,74.0,6.0,6.0,7.000000000000001,2.0,2.0,5.0,35.0,52.0,66.0,29.53846153846154
+qwen2.5:7b-instruct-q4_0,27.0,36.0,57.99999999999999,71.0,30.0,30.0,30.0,5.0,6.0,10.0,15.0,19.0,38.0,28.846153846153847
+mistral-nemo:12b-instruct-2407-q4_0,10.0,11.0,38.0,68.0,23.0,23.0,23.0,0.0,0.0,8.0,27.0,37.0,51.0,24.53846153846154
+rscr/vikhr_nemo_12b:latest,23.0,31.0,53.0,56.00000000000001,11.0,19.0,20.0,2.0,3.0,11.0,12.0,28.999999999999996,41.0,23.923076923076923
+ilyagusev/saiga_nemo_12b,3.0,4.0,59.0,70.0,17.0,17.0,18.0,1.0,1.0,10.0,23.0,34.0,48.0,23.46153846153846
+qwen2:7b-instruct-q4_0,11.0,13.0,55.00000000000001,67.0,22.0,22.0,23.0,2.0,2.0,8.0,5.0,13.0,28.999999999999996,20.923076923076923
+phi3:14b-medium-4k-instruct-q4_0,0.0,0.0,60.0,70.0,3.0,4.0,41.0,0.0,0.0,9.0,7.000000000000001,20.0,31.0,18.846153846153847
+owl/t-lite:q4_0-instruct,3.0,6.0,42.0,66.0,10.0,11.0,12.0,1.0,1.0,3.0,4.0,35.0,48.0,18.615384615384617
+ilyagusev/saiga_llama3,2.0,9.0,52.0,65.0,9.0,9.0,20.0,0.0,0.0,4.0,8.0,24.0,38.0,18.46153846153846
+mistral:7b-instruct-v0.3-q4_0,0.0,0.0,44.0,54.0,0.0,0.0,31.0,0.0,0.0,4.0,3.0,14.000000000000002,24.0,13.384615384615385
+yi:9b,8.0,17.0,39.0,39.0,12.0,14.000000000000002,14.000000000000002,0.0,0.0,1.0,2.0,6.0,14.000000000000002,12.76923076923077
+mixtral:8x7b-instruct-v0.1-q4_0,0.0,13.0,53.0,16.0,2.0,15.0,27.0,0.0,2.0,12.0,2.0,9.0,12.0,12.538461538461538
+solar:10.7b-instruct-v1-q4_0,0.0,0.0,49.0,50.0,0.0,0.0,19.0,0.0,0.0,3.0,4.0,13.0,22.0,12.307692307692308
+wavecut/vikhr:7b-instruct_0.4-Q4_1,0.0,0.0,39.0,41.0,2.0,3.0,7.000000000000001,0.0,0.0,1.0,10.0,19.0,30.0,11.692307692307692
+random,4.04341349223239,7.59736114066823,32.698446477974,24.5103137458832,14.0740740740741,14.0740740740741,14.0740740740741,0.828500414250207,0.828500414250207,3.23115161557581,,,,11.595990952305634
+llama3.1:8b-instruct-q4_0,0.0,0.0,50.0,4.0,0.0,1.0,3.0,0.0,0.0,6.0,0.0,24.0,40.0,9.846153846153847
+qwen:7b,0.0,0.0,30.0,36.0,12.0,12.0,14.000000000000002,0.0,0.0,1.0,0.0,3.0,16.0,9.538461538461538
+llama3:8b-instruct-q4_0,0.0,0.0,50.0,12.0,0.0,1.0,3.0,0.0,0.0,4.0,0.0,20.0,33.0,9.461538461538462
+gemma:7b-instruct-v1.1-q4_0,2.0,9.0,39.0,13.0,7.000000000000001,10.0,11.0,1.0,1.0,4.0,0.0,4.0,16.0,9.0
+yi:6b,1.0,18.0,13.0,28.000000000000004,0.0,6.0,4.0,0.0,1.0,1.0,1.0,3.0,10.0,6.615384615384615
+llama3.2:3b-instruct-q4_0,0.0,0.0,30.0,0.0,0.0,0.0,10.0,0.0,0.0,1.0,0.0,6.0,19.0,5.076923076923077
+llama2:13b,0.0,0.0,25.0,0.0,0.0,0.0,1.0,0.0,0.0,0.0,0.0,7.000000000000001,12.0,3.4615384615384617
+llama3.2:1b-instruct-q4_0,0.0,1.0,14.000000000000002,0.0,0.0,3.0,0.0,0.0,0.0,0.0,0.0,2.0,10.0,2.3076923076923075
+Среднее значение,30.089853633160722,36.25771913645929,58.615521032843866,60.43356252768629,28.49053497942387,29.71275720164609,34.6238683127572,13.440633342538895,13.862855564761116,19.42735892479057,20.727272727272727,35.25,47.13636363636363,32.811534841675154

oblzn.csv

@@ -0,0 +1,47 @@
+model,GEO_num_q_EM,GEO_num_q_CC,GEO_num_q_PM,GEO_open_q_EM,GEO_open_q_F1,GEO_open_q_LR,GEO_avg,HIST_num_q_EM,HIST_num_q_CC,HIST_num_q_PM,HIST_open_q_EM,HIST_open_q_F1,HIST_open_q_LR,HIST_avg,SOC_num_q_EM,SOC_num_q_CC,SOC_num_q_PM,SOC_open_q_EM,SOC_open_q_F1,SOC_open_q_LR,SOC_avg,POL_num_q_EM,POL_num_q_CC,POL_num_q_PM,POL_avg,DOMAIN_avg
+claude-3-5-sonnet,89.0,89.0,90.0,65.0,72.0,79.0,80.66666666666667,79.0,80.0,81.0,55.00000000000001,62.0,74.0,71.83333333333333,87.0,89.0,91.0,95.0,96.0,96.0,92.33333333333333,78.0,78.0,80.0,78.66666666666667,81.19047619047619
+gemini-pro-1.5,89.0,90.0,90.0,57.99999999999999,70.0,76.0,78.83333333333333,74.0,75.0,79.0,48.0,61.0,74.0,68.5,82.0,85.0,88.0,89.0,92.0,97.0,88.83333333333333,73.0,74.0,76.0,74.33333333333333,78.0952380952381
+GigaChat-2-Max,92.0,92.0,93.0,61.0,68.0,77.0,80.5,78.0,79.0,81.0,42.0,51.0,67.0,66.33333333333333,88.0,90.0,92.0,89.0,91.0,94.0,90.66666666666667,63.0,63.0,65.0,63.666666666666664,76.95238095238095
+mistral-123b,80.0,81.0,83.0,62.0,69.0,74.0,74.83333333333333,66.0,67.0,70.0,44.0,53.0,65.0,60.833333333333336,78.0,82.0,86.0,89.0,91.0,94.0,86.66666666666667,71.0,71.0,73.0,71.66666666666667,73.76190476190476
+qwen2.5:72b-instruct-q4_0,84.0,86.0,87.0,55.00000000000001,63.0,72.0,74.5,66.0,69.0,70.0,30.0,41.0,56.99999999999999,55.5,72.0,83.0,81.0,74.0,81.0,87.0,79.66666666666667,74.0,76.0,76.0,75.33333333333333,70.66666666666667
+deepseek-r1,79.0,90.0,91.0,5.0,56.99999999999999,60.0,63.666666666666664,72.0,83.0,83.0,20.0,56.00000000000001,68.0,63.666666666666664,70.0,86.0,89.0,57.99999999999999,87.0,87.0,79.5,59.0,74.0,76.0,69.66666666666667,69.04761904761905
+GigaChat-Max,74.0,75.0,76.0,57.99999999999999,65.0,75.0,70.5,59.0,60.0,63.0,38.0,46.0,63.0,54.833333333333336,81.0,83.0,87.0,79.0,83.0,89.0,83.66666666666667,64.0,64.0,65.0,64.33333333333333,68.9047619047619
+gpt-4o,82.0,82.0,83.0,2.0,71.0,73.0,65.5,73.0,74.0,77.0,15.0,56.99999999999999,69.0,60.833333333333336,84.0,87.0,89.0,11.0,86.0,88.0,74.16666666666667,76.0,76.0,78.0,76.66666666666667,68.23809523809524
+t-tech/T-pro-it-1.0,83.0,84.0,86.0,46.0,56.99999999999999,67.0,70.5,66.0,67.0,72.0,27.0,44.0,60.0,56.0,75.0,80.0,84.0,61.0,69.0,79.0,74.66666666666667,74.0,75.0,76.0,75.0,68.19047619047619
+GigaChat-Pro,79.0,81.0,80.0,64.0,69.0,77.0,75.0,52.0,54.0,56.99999999999999,38.0,46.0,62.0,51.5,72.0,74.0,80.0,71.0,75.0,84.0,76.0,56.99999999999999,59.0,59.0,58.333333333333336,66.19047619047619
+qwen2.5:32b-instruct-q4_0,81.0,82.0,84.0,42.0,54.0,64.0,67.83333333333333,59.0,61.0,65.0,23.0,32.0,48.0,48.0,73.0,79.0,82.0,71.0,77.0,83.0,77.5,73.0,75.0,75.0,74.33333333333333,65.85714285714286
+rscr/ruadapt_qwen2.5_32b:Q4_K_M,77.0,77.0,81.0,40.0,50.0,64.0,64.83333333333333,57.99999999999999,59.0,65.0,22.0,31.0,50.0,47.5,71.0,73.0,81.0,71.0,75.0,82.0,75.5,72.0,73.0,73.0,72.66666666666667,64.04761904761905
+YandexGPT4-Pro-32k,65.0,65.0,80.0,44.0,56.99999999999999,66.0,62.833333333333336,52.0,52.0,68.0,39.0,50.0,65.0,54.333333333333336,55.00000000000001,56.99999999999999,84.0,79.0,87.0,92.0,75.66666666666667,59.0,59.0,62.0,60.0,63.666666666666664
+YandexGPT4-Pro,64.0,64.0,80.0,44.0,56.00000000000001,66.0,62.333333333333336,52.0,53.0,68.0,39.0,50.0,65.0,54.5,55.00000000000001,57.99999999999999,84.0,79.0,87.0,92.0,75.83333333333333,59.0,59.0,62.0,60.0,63.61904761904762
+gemma2:27b-instruct-q4_0,68.0,70.0,73.0,52.0,60.0,70.0,65.5,49.0,51.0,55.00000000000001,35.0,45.0,60.0,49.166666666666664,66.0,71.0,77.0,38.0,46.0,66.0,60.666666666666664,72.0,74.0,74.0,73.33333333333333,60.57142857142857
+qwen2:72b-instruct-q4_0,81.0,84.0,84.0,4.0,61.0,64.0,63.0,61.0,65.0,66.0,14.000000000000002,39.0,51.0,49.333333333333336,69.0,80.0,79.0,15.0,55.00000000000001,67.0,60.833333333333336,69.0,75.0,72.0,72.0,59.76190476190476
+GigaChat-Lite,70.0,71.0,72.0,52.0,63.0,72.0,66.66666666666667,45.0,46.0,50.0,24.0,30.0,47.0,40.333333333333336,70.0,73.0,79.0,63.0,65.0,76.0,71.0,55.00000000000001,56.00000000000001,56.99999999999999,56.0,58.857142857142854
+ai-sage/GigaChat-20B-A3B-instruct,62.0,64.0,65.0,53.0,61.0,70.0,62.5,48.0,52.0,54.0,28.999999999999996,40.0,56.99999999999999,46.666666666666664,46.0,49.0,53.0,67.0,71.0,79.0,60.833333333333336,67.0,70.0,69.0,68.66666666666667,58.38095238095238
+llama405,37.0,70.0,79.0,5.0,61.0,66.0,53.0,39.0,60.0,68.0,12.0,49.0,62.0,48.333333333333336,37.0,75.0,83.0,5.0,83.0,86.0,61.5,41.0,71.0,71.0,61.0,55.23809523809524
+gemma2:9b-instruct-q4_0,59.0,63.0,65.0,33.0,43.0,56.00000000000001,53.166666666666664,41.0,45.0,49.0,19.0,27.0,43.0,37.333333333333336,60.0,69.0,73.0,55.00000000000001,62.0,75.0,65.66666666666667,69.0,72.0,72.0,71.0,54.76190476190476
+YandexGPT4-Lite,49.0,50.0,54.0,35.0,50.0,64.0,50.333333333333336,38.0,39.0,44.0,33.0,48.0,63.0,44.166666666666664,54.0,57.99999999999999,70.0,45.0,74.0,82.0,63.833333333333336,53.0,54.0,55.00000000000001,54.0,52.95238095238095
+llama3.1:70b-instruct-q4_0,33.0,63.0,69.0,0.0,65.0,69.0,49.833333333333336,30.0,50.0,55.00000000000001,14.000000000000002,48.0,61.0,43.0,49.0,71.0,77.0,6.0,74.0,79.0,59.333333333333336,37.0,73.0,74.0,61.333333333333336,52.23809523809524
+llama3:70b-instruct-q4_0,56.99999999999999,64.0,63.0,2.0,62.0,66.0,52.333333333333336,41.0,47.0,49.0,7.000000000000001,42.0,56.00000000000001,40.333333333333336,54.0,73.0,69.0,15.0,49.0,61.0,53.5,69.0,71.0,72.0,70.66666666666667,51.857142857142854
+qwen2.5:7b-instruct-q4_0,54.0,55.00000000000001,60.0,21.0,28.000000000000004,46.0,44.0,34.0,35.0,42.0,6.0,10.0,30.0,26.166666666666668,50.0,56.00000000000001,69.0,60.0,64.0,74.0,62.166666666666664,66.0,67.0,68.0,67.0,47.38095238095238
+mistral-nemo:12b-instruct-2407-q4_0,43.0,43.0,50.0,44.0,53.0,64.0,49.5,32.0,32.0,40.0,21.0,31.0,46.0,33.666666666666664,35.0,35.0,52.0,35.0,44.0,60.0,43.5,61.0,62.0,63.0,62.0,45.04761904761905
+ilyagusev/saiga_nemo_12b,41.0,42.0,54.0,39.0,48.0,60.0,47.333333333333336,33.0,33.0,45.0,19.0,30.0,44.0,34.0,30.0,30.0,65.0,28.000000000000004,38.0,56.99999999999999,41.333333333333336,65.0,66.0,66.0,65.66666666666667,44.42857142857143
+rscr/vikhr_nemo_12b:latest,28.000000000000004,44.0,40.0,13.0,32.0,42.0,33.166666666666664,28.999999999999996,41.0,43.0,10.0,26.0,39.0,31.333333333333332,41.0,51.0,62.0,27.0,44.0,57.99999999999999,47.166666666666664,56.00000000000001,67.0,64.0,62.333333333333336,40.80952380952381
+ilyagusev/saiga_llama3,38.0,40.0,51.0,18.0,39.0,52.0,39.666666666666664,28.000000000000004,28.0,39.0,3.0,17.0,31.0,24.333333333333332,27.0,32.0,60.0,21.0,45.0,59.0,40.666666666666664,65.0,65.0,66.0,65.33333333333333,39.23809523809524
+owl/t-lite:q4_0-instruct,37.0,40.0,47.0,1.0,48.0,56.99999999999999,38.333333333333336,30.0,31.0,37.0,3.0,28.999999999999996,44.0,29.0,28.999999999999996,31.0,54.0,15.0,50.0,61.0,40.0,57.99999999999999,60.0,60.0,59.333333333333336,39.142857142857146
+phi3:14b-medium-4k-instruct-q4_0,41.0,43.0,62.0,20.0,38.0,51.0,42.5,30.0,33.0,49.0,3.0,15.0,25.0,25.833333333333332,27.0,30.0,68.0,4.0,27.0,37.0,32.166666666666664,64.0,69.0,69.0,67.33333333333333,38.333333333333336
+qwen2:7b-instruct-q4_0,46.0,47.0,54.0,8.0,13.0,30.0,33.0,28.000000000000004,30.0,38.0,3.0,9.0,25.0,22.166666666666668,36.0,38.0,66.0,12.0,34.0,51.0,39.5,63.0,64.0,65.0,64.0,36.19047619047619
+mistral:7b-instruct-v0.3-q4_0,28.999999999999996,30.0,45.0,10.0,19.0,30.0,27.166666666666668,21.0,24.0,35.0,1.0,10.0,21.0,18.666666666666668,22.0,24.0,53.0,6.0,32.0,36.0,28.833333333333332,55.00000000000001,56.00000000000001,56.99999999999999,56.0,29.333333333333332
+solar:10.7b-instruct-v1-q4_0,23.0,35.0,46.0,3.0,11.0,17.0,22.5,18.0,27.0,37.0,4.0,12.0,21.0,19.833333333333332,24.0,26.0,57.99999999999999,9.0,23.0,36.0,29.333333333333332,48.0,61.0,61.0,56.666666666666664,28.571428571428573
+llama3.1:8b-instruct-q4_0,1.0,35.0,44.0,0.0,34.0,48.0,27.0,2.0,26.0,34.0,0.0,19.0,36.0,19.5,2.0,26.0,57.99999999999999,0.0,41.0,54.0,30.166666666666668,9.0,62.0,62.0,44.333333333333336,28.238095238095237
+llama3:8b-instruct-q4_0,6.0,35.0,46.0,0.0,34.0,46.0,27.833333333333332,6.0,26.0,35.0,0.0,15.0,28.999999999999996,18.5,5.0,27.0,60.0,0.0,24.0,34.0,25.0,11.0,62.0,63.0,45.333333333333336,26.857142857142858
+wavecut/vikhr:7b-instruct_0.4-Q4_1,23.0,28.000000000000004,35.0,11.0,21.0,30.0,24.666666666666668,17.0,20.0,27.0,8.0,18.0,28.000000000000004,19.666666666666668,16.0,19.0,45.0,17.0,27.0,41.0,27.5,37.0,47.0,46.0,43.333333333333336,26.714285714285715
+mixtral:8x7b-instruct-v0.1-q4_0,8.0,50.0,56.00000000000001,2.0,9.0,11.0,22.666666666666668,8.0,38.0,47.0,1.0,8.0,12.0,19.0,6.0,39.0,61.0,3.0,16.0,17.0,23.666666666666668,12.0,71.0,65.0,49.333333333333336,25.714285714285715
+yi:9b,21.0,30.0,33.0,0.0,4.0,8.0,16.0,16.0,20.0,24.0,0.0,3.0,13.0,12.666666666666666,26.0,36.0,48.0,16.0,22.0,34.0,30.333333333333332,39.0,56.00000000000001,53.0,49.333333333333336,23.904761904761905
+gemma:7b-instruct-v1.1-q4_0,12.0,39.0,44.0,0.0,4.0,12.0,18.5,5.0,22.0,27.0,0.0,4.0,16.0,12.333333333333334,7.000000000000001,30.0,49.0,0.0,11.0,18.0,19.166666666666668,18.0,57.99999999999999,57.99999999999999,44.666666666666664,20.666666666666668
+random,16.8372093023256,17.5813953488372,22.3720930232558,,,,18.930232558139533,13.2535364526659,13.93,20.4134929270947,,,,15.8656764599202,11.6207951070336,13.8188073394495,29.0997706422018,,,,18.17979102956163,26.1275272161742,26.905132192846,28.149300155521,27.0606531881804,20.009088308950442
+qwen:7b,20.0,20.0,26.0,0.0,2.0,13.0,13.5,15.0,15.0,22.0,0.0,2.0,14.000000000000002,11.333333333333334,16.0,16.0,35.0,1.0,16.0,33.0,19.5,40.0,40.0,41.0,40.333333333333336,18.428571428571427
+llama3.2:3b-instruct-q4_0,0.0,24.0,30.0,0.0,10.0,22.0,14.333333333333334,0.0,18.0,26.0,0.0,4.0,18.0,11.0,0.0,21.0,40.0,0.0,7.000000000000001,21.0,14.833333333333334,0.0,53.0,54.0,35.666666666666664,16.571428571428573
+yi:6b,17.0,24.0,20.0,0.0,3.0,7.000000000000001,11.833333333333334,11.0,17.0,15.0,0.0,2.0,9.0,9.0,11.0,27.0,25.0,8.0,12.0,16.0,16.5,33.0,42.0,41.0,38.666666666666664,16.19047619047619
+llama2:13b,0.0,42.0,5.0,0.0,10.0,15.0,12.0,0.0,23.0,6.0,0.0,6.0,11.0,7.666666666666667,0.0,17.0,19.0,0.0,9.0,11.0,9.333333333333334,0.0,59.0,8.0,22.333333333333332,11.476190476190476
+llama3.2:1b-instruct-q4_0,0.0,20.0,10.0,0.0,2.0,9.0,6.833333333333333,0.0,17.0,12.0,0.0,2.0,10.0,6.833333333333333,0.0,20.0,16.0,0.0,5.0,6.0,7.833333333333333,0.0,36.0,18.0,18.0,8.714285714285714
+Среднее значение,47.529715762273895,56.01291989664083,59.74160206718346,24.363636363636363,42.40909090909091,51.29545454545455,46.665116279069785,37.20563414339257,43.50955555555556,48.65363317615766,17.022727272727273,30.0,43.38636363636363,36.47108910651674,43.76935100237853,52.66264016309888,65.55777268093782,36.06818181818182,53.34090909090909,62.02272727272727,51.87806943028656,51.336167271470536,63.15344738206324,61.95887333678935,58.816162663441055,47.000201962421116

provokac.csv

@@ -0,0 +1,47 @@
+model,PROVOC_1_num_q_EM,PROVOC_1_num_q_CC,PROVOC_1_num_q_PM,PROVOC_1_open_q_EM,PROVOC_1_open_q_F1,PROVOC_1_open_q_LR,PROVOC_1_avg,PROVOC_2_num_q_EM,PROVOC_2_num_q_CC,PROVOC_2_num_q_PM,PROVOC_2_open_q_EM,PROVOC_2_open_q_F1,PROVOC_2_open_q_LR,PROVOC_2_avg,PROVOC_3_num_q_EM,PROVOC_3_num_q_CC,PROVOC_3_num_q_PM,PROVOC_3_open_q_EM,PROVOC_3_open_q_F1,PROVOC_3_open_q_LR,PROVOC_3_avg,PROVOC_avg
+claude-3-5-sonnet,88.0,89.0,90.0,67.0,73.0,83.0,81.66666666666667,84.0,84.0,86.0,65.0,73.0,81.0,78.83333333333333,77.0,78.0,81.0,55.00000000000001,60.0,72.0,70.5,77.0
+gemini-pro-1.5,83.0,85.0,86.0,61.0,71.0,83.0,78.16666666666667,81.0,83.0,85.0,54.0,68.0,77.0,74.66666666666667,72.0,74.0,80.0,51.0,60.0,71.0,68.0,73.61111111111111
+GigaChat-2-Max,87.0,88.0,89.0,61.0,69.0,80.0,79.0,85.0,86.0,88.0,51.0,61.0,71.0,73.66666666666667,75.0,77.0,80.0,43.0,50.0,66.0,65.16666666666667,72.61111111111111
+mistral-123b,78.0,79.0,82.0,56.99999999999999,67.0,78.0,73.5,73.0,75.0,78.0,56.00000000000001,64.0,72.0,69.66666666666667,66.0,69.0,74.0,48.0,54.0,63.0,62.333333333333336,68.5
+deepseek-r1,77.0,89.0,91.0,30.0,67.0,74.0,71.33333333333333,65.0,85.0,86.0,18.0,59.0,66.0,63.166666666666664,69.0,77.0,79.0,15.0,55.00000000000001,65.0,60.0,64.83333333333333
+GigaChat-Max,76.0,76.0,78.0,54.0,60.0,74.0,69.66666666666667,72.0,73.0,76.0,49.0,56.99999999999999,70.0,66.16666666666667,60.0,62.0,67.0,40.0,47.0,62.0,56.333333333333336,64.05555555555556
+gpt-4o,85.0,87.0,88.0,20.0,71.0,78.0,71.5,79.0,80.0,83.0,6.0,64.0,71.0,63.833333333333336,67.0,69.0,74.0,6.0,56.00000000000001,66.0,56.333333333333336,63.888888888888886
+qwen2.5:72b-instruct-q4_0,76.0,81.0,81.0,41.0,51.0,66.0,66.0,73.0,79.0,78.0,44.0,54.0,65.0,65.5,61.0,71.0,71.0,34.0,44.0,57.99999999999999,56.5,62.666666666666664
+t-tech/T-pro-it-1.0,77.0,79.0,82.0,38.0,53.0,69.0,66.33333333333333,74.0,76.0,79.0,36.0,49.0,63.0,62.833333333333336,65.0,68.0,74.0,28.000000000000004,44.0,57.99999999999999,56.166666666666664,61.77777777777778
+GigaChat-Pro,71.0,73.0,75.0,52.0,61.0,74.0,67.66666666666667,63.0,64.0,69.0,55.00000000000001,61.0,73.0,64.16666666666667,56.00000000000001,57.99999999999999,65.0,38.0,43.0,57.99999999999999,53.0,61.611111111111114
+YandexGPT4-Pro,64.0,64.0,80.0,52.0,63.0,75.0,66.33333333333333,59.0,60.0,77.0,43.0,56.99999999999999,70.0,61.0,36.0,38.0,67.0,39.0,49.0,61.0,48.333333333333336,58.55555555555556
+YandexGPT4-Pro-32k,64.0,64.0,80.0,52.0,63.0,75.0,66.33333333333333,59.0,60.0,77.0,43.0,56.99999999999999,70.0,61.0,36.0,38.0,67.0,39.0,49.0,60.0,48.166666666666664,58.5
+qwen2.5:32b-instruct-q4_0,72.0,75.0,78.0,33.0,42.0,57.99999999999999,59.666666666666664,71.0,74.0,76.0,33.0,43.0,55.00000000000001,58.666666666666664,61.0,66.0,72.0,28.999999999999996,38.0,51.0,52.833333333333336,57.05555555555556
+gemma2:27b-instruct-q4_0,65.0,67.0,72.0,41.0,50.0,66.0,60.166666666666664,61.0,64.0,68.0,40.0,49.0,62.0,57.333333333333336,52.0,56.99999999999999,63.0,35.0,45.0,59.0,51.833333333333336,56.44444444444444
+rscr/ruadapt_qwen2.5_32b:Q4_K_M,70.0,71.0,76.0,34.0,42.0,59.0,58.666666666666664,69.0,70.0,76.0,33.0,42.0,56.99999999999999,57.833333333333336,59.0,61.0,70.0,25.0,34.0,52.0,50.166666666666664,55.55555555555556
+qwen2:72b-instruct-q4_0,74.0,79.0,79.0,14.000000000000002,45.0,57.99999999999999,58.166666666666664,69.0,75.0,74.0,10.0,48.0,56.00000000000001,55.333333333333336,56.99999999999999,67.0,68.0,13.0,41.0,50.0,49.333333333333336,54.27777777777778
+GigaChat-Lite,63.0,65.0,68.0,33.0,40.0,56.99999999999999,54.333333333333336,63.0,64.0,68.0,44.0,53.0,64.0,59.333333333333336,51.0,54.0,60.0,28.999999999999996,35.0,49.0,46.333333333333336,53.333333333333336
+llama405,41.0,70.0,79.0,13.0,57.99999999999999,71.0,55.333333333333336,41.0,72.0,77.0,6.0,56.99999999999999,66.0,53.166666666666664,28.000000000000004,61.0,69.0,7.000000000000001,52.0,60.0,46.166666666666664,51.55555555555556
+YandexGPT4-Lite,51.0,52.0,59.0,38.0,56.00000000000001,70.0,54.333333333333336,51.0,52.0,59.0,35.0,52.0,66.0,52.5,37.0,40.0,49.0,31.0,46.0,60.0,43.833333333333336,50.22222222222222
+ai-sage/GigaChat-20B-A3B-instruct,57.99999999999999,62.0,63.0,39.0,49.0,64.0,55.833333333333336,52.0,55.00000000000001,56.99999999999999,44.0,52.0,65.0,54.166666666666664,33.0,35.0,40.0,31.0,42.0,56.00000000000001,39.5,49.833333333333336
+llama3.1:70b-instruct-q4_0,40.0,63.0,70.0,14.000000000000002,55.00000000000001,68.0,51.666666666666664,41.0,65.0,68.0,7.000000000000001,56.99999999999999,65.0,50.5,35.0,56.00000000000001,62.0,10.0,50.0,59.0,45.333333333333336,49.166666666666664
+llama3:70b-instruct-q4_0,54.0,63.0,64.0,9.0,47.0,60.0,49.5,52.0,64.0,61.0,5.0,50.0,59.0,48.5,41.0,57.99999999999999,55.00000000000001,7.000000000000001,43.0,55.00000000000001,43.166666666666664,47.05555555555556
+gemma2:9b-instruct-q4_0,56.00000000000001,62.0,65.0,28.000000000000004,36.0,52.0,49.833333333333336,56.00000000000001,61.0,63.0,27.0,36.0,52.0,49.166666666666664,45.0,53.0,56.99999999999999,21.0,28.999999999999996,44.0,41.5,46.833333333333336
+mistral-nemo:12b-instruct-2407-q4_0,39.0,39.0,49.0,28.000000000000004,37.0,53.0,40.833333333333336,40.0,41.0,50.0,28.000000000000004,37.0,52.0,41.333333333333336,27.0,28.000000000000004,41.0,24.0,37.0,48.0,34.166666666666664,38.77777777777778
+ilyagusev/saiga_nemo_12b,38.0,39.0,56.00000000000001,24.0,33.0,49.0,39.833333333333336,39.0,39.0,57.99999999999999,27.0,37.0,52.0,42.0,22.0,22.0,55.00000000000001,20.0,31.0,44.0,32.333333333333336,38.05555555555556
+qwen2.5:7b-instruct-q4_0,47.0,49.0,59.0,16.0,20.0,39.0,38.333333333333336,48.0,51.0,56.99999999999999,18.0,24.0,41.0,39.833333333333336,41.0,46.0,55.00000000000001,10.0,14.000000000000002,32.0,33.0,37.05555555555556
+rscr/vikhr_nemo_12b:latest,36.0,48.0,50.0,15.0,32.0,47.0,38.0,38.0,49.0,54.0,12.0,31.0,42.0,37.666666666666664,32.0,42.0,52.0,9.0,25.0,35.0,32.5,36.05555555555556
+owl/t-lite:q4_0-instruct,34.0,37.0,48.0,6.0,34.0,50.0,34.833333333333336,37.0,39.0,49.0,4.0,40.0,50.0,36.5,22.0,24.0,43.0,1.0,32.0,43.0,27.5,32.94444444444444
+ilyagusev/saiga_llama3,34.0,35.0,52.0,6.0,23.0,38.0,31.333333333333332,35.0,37.0,52.0,11.0,28.999999999999996,44.0,34.666666666666664,21.0,27.0,48.0,6.0,21.0,34.0,26.166666666666668,30.72222222222222
+phi3:14b-medium-4k-instruct-q4_0,36.0,38.0,63.0,3.0,18.0,30.0,31.333333333333332,36.0,41.0,60.0,10.0,26.0,37.0,35.0,20.0,23.0,55.00000000000001,7.000000000000001,18.0,28.000000000000004,25.166666666666668,30.5
+qwen2:7b-instruct-q4_0,41.0,43.0,55.00000000000001,5.0,14.000000000000002,32.0,31.666666666666668,38.0,40.0,54.0,7.000000000000001,14.000000000000002,31.0,30.666666666666668,24.0,26.0,51.0,3.0,10.0,24.0,23.0,28.444444444444443
+llama3.1:8b-instruct-q4_0,2.0,31.0,45.0,0.0,23.0,42.0,23.833333333333332,3.0,35.0,49.0,0.0,27.0,42.0,26.0,2.0,19.0,49.0,0.0,22.0,37.0,21.5,23.77777777777778
+solar:10.7b-instruct-v1-q4_0,24.0,32.0,49.0,4.0,14.000000000000002,25.0,24.666666666666668,28.999999999999996,35.0,50.0,4.0,13.0,22.0,25.5,14.000000000000002,19.0,46.0,4.0,12.0,18.0,18.833333333333332,23.0
+wavecut/vikhr:7b-instruct_0.4-Q4_1,21.0,24.0,36.0,11.0,19.0,31.0,23.666666666666668,22.0,26.0,38.0,8.0,19.0,28.999999999999996,23.666666666666668,12.0,14.000000000000002,35.0,10.0,20.0,28.999999999999996,20.0,22.444444444444443
+mistral:7b-instruct-v0.3-q4_0,27.0,28.000000000000004,46.0,3.0,14.000000000000002,26.0,24.0,28.999999999999996,32.0,46.0,3.0,15.0,24.0,24.833333333333332,15.0,16.0,41.0,4.0,13.0,22.0,18.5,22.444444444444443
+llama3:8b-instruct-q4_0,7.000000000000001,32.0,48.0,0.0,17.0,33.0,22.833333333333332,6.0,34.0,51.0,0.0,24.0,36.0,25.166666666666668,3.0,19.0,46.0,0.0,18.0,28.999999999999996,19.166666666666668,22.38888888888889
+mixtral:8x7b-instruct-v0.1-q4_0,9.0,44.0,56.00000000000001,2.0,10.0,15.0,22.666666666666668,7.000000000000001,46.0,56.99999999999999,1.0,9.0,11.0,21.833333333333332,4.0,32.0,51.0,2.0,9.0,10.0,18.0,20.833333333333332
+yi:9b,22.0,30.0,36.0,3.0,6.0,17.0,19.0,25.0,32.0,37.0,2.0,6.0,13.0,19.166666666666668,18.0,28.000000000000004,37.0,0.0,4.0,11.0,16.333333333333332,18.166666666666668
+random,15.4513003569607,16.8111507734149,25.5141934387217,,,,19.258881523032432,14.3196829590489,15.4821664464993,23.3157199471598,,,,17.705856450902665,10.0271002710027,11.4837398373984,25.0338753387534,,,,15.5149051490515,17.49321437432887
+gemma:7b-instruct-v1.1-q4_0,8.0,33.0,42.0,0.0,4.0,17.0,17.333333333333332,7.000000000000001,33.0,41.0,0.0,5.0,15.0,16.833333333333332,6.0,22.0,38.0,0.0,4.0,15.0,14.166666666666666,16.11111111111111
+qwen:7b,19.0,20.0,28.999999999999996,0.0,4.0,18.0,15.0,20.0,20.0,30.0,0.0,4.0,17.0,15.166666666666666,10.0,11.0,27.0,0.0,2.0,12.0,10.333333333333334,13.5
+llama3.2:3b-instruct-q4_0,0.0,23.0,34.0,0.0,5.0,21.0,13.833333333333334,0.0,27.0,37.0,0.0,7.000000000000001,19.0,15.0,0.0,14.000000000000002,31.0,0.0,6.0,17.0,11.333333333333334,13.38888888888889
+yi:6b,15.0,22.0,21.0,1.0,3.0,12.0,12.333333333333334,14.000000000000002,26.0,24.0,1.0,4.0,9.0,13.0,9.0,23.0,18.0,0.0,3.0,8.0,10.166666666666666,11.833333333333334
+llama2:13b,0.0,32.0,10.0,0.0,6.0,12.0,10.0,0.0,24.0,9.0,0.0,7.000000000000001,11.0,8.5,0.0,15.0,17.0,0.0,8.0,14.000000000000002,9.0,9.166666666666666
+llama3.2:1b-instruct-q4_0,0.0,20.0,15.0,0.0,2.0,10.0,7.833333333333333,0.0,25.0,15.0,0.0,2.0,9.0,8.5,0.0,12.0,10.0,0.0,2.0,10.0,5.666666666666667,7.333333333333333
+Среднее значение,45.43225111904357,53.306914461631436,59.989204298638256,22.90909090909091,36.97727272727273,50.20454545454545,44.60945662643774,44.00710406575664,52.63293703214443,58.895904887714664,21.363636363636363,37.34090909090909,48.22727272727273,43.545315328538585,34.46726889491117,41.78852755194219,53.66741945197229,17.59090909090909,31.295454545454547,42.61363636363637,36.737368262571515,41.630713405849285

vidvopr.csv

@@ -0,0 +1,47 @@
+model,NUM_Q_multich_EM,NUM_Q_multich_CC,NUM_Q_multich_PM,NUM_Q_multich_avg,NUM_Q_onech_EM,NUM_Q_onech_CC,NUM_Q_onech_PM,NUM_Q_onech_avg,NUM_Q_seq_EM,NUM_Q_seq_CC,NUM_Q_seq_PM,NUM_Q_seq_avg,NUM_Q_map_EM,NUM_Q_map_CC,NUM_Q_map_PM,NUM_Q_map_avg,OPEN_Q_EM,OPEN_Q_F1,OPEN_Q_LR,OPEN_Q_avg,Q_TYPE_avg
+GigaChat-2-Max,81.0,84.0,88.0,84.33333333333333,91.0,91.0,91.0,91.0,75.0,75.0,75.0,75.0,66.0,66.0,72.0,68.0,52.0,60.0,73.0,61.666666666666664,76.0
+claude-3-5-sonnet,84.0,85.0,90.0,86.33333333333333,94.0,94.0,94.0,94.0,73.0,73.0,73.0,73.0,43.0,44.0,46.0,44.333333333333336,63.0,69.0,78.0,70.0,73.53333333333333
+gemini-pro-1.5,73.0,78.0,84.0,78.33333333333333,91.0,92.0,91.0,91.33333333333333,66.0,66.0,66.0,66.0,59.0,60.0,66.0,61.666666666666664,55.00000000000001,67.0,77.0,66.33333333333333,72.73333333333333
+deepseek-r1,79.0,82.0,86.0,82.33333333333333,67.0,93.0,93.0,84.33333333333333,82.0,82.0,82.0,82.0,57.99999999999999,61.0,59.0,59.333333333333336,22.0,61.0,69.0,50.666666666666664,71.73333333333333
+qwen2.5:72b-instruct-q4_0,59.0,75.0,74.0,69.33333333333333,90.0,90.0,90.0,90.0,68.0,68.0,68.0,68.0,38.0,40.0,44.0,40.666666666666664,39.0,50.0,63.0,50.666666666666664,63.733333333333334
+t-tech/T-pro-it-1.0,64.0,69.0,78.0,70.33333333333333,89.0,89.0,89.0,89.0,66.0,66.0,66.0,66.0,41.0,42.0,48.0,43.666666666666664,34.0,49.0,64.0,49.0,63.6
+mistral-123b,69.0,74.0,82.0,75.0,89.0,89.0,89.0,89.0,63.0,63.0,63.0,63.0,24.0,24.0,28.000000000000004,25.333333333333332,54.0,62.0,71.0,62.333333333333336,62.93333333333333
+gpt-4o,77.0,81.0,86.0,81.33333333333333,94.0,95.0,95.0,94.66666666666667,64.0,64.0,66.0,64.66666666666667,22.0,22.0,28.999999999999996,24.333333333333332,11.0,64.0,72.0,49.0,62.8
+qwen2.5:32b-instruct-q4_0,59.0,66.0,75.0,66.66666666666667,86.0,87.0,87.0,86.66666666666667,60.0,60.0,60.0,60.0,35.0,36.0,42.0,37.666666666666664,31.0,41.0,55.00000000000001,42.333333333333336,58.666666666666664
+qwen2:72b-instruct-q4_0,56.99999999999999,70.0,73.0,66.66666666666667,86.0,89.0,86.0,87.0,63.0,63.0,63.0,63.0,33.0,34.0,39.0,35.333333333333336,12.0,45.0,55.00000000000001,37.333333333333336,57.86666666666667
+rscr/ruadapt_qwen2.5_32b:Q4_K_M,54.0,56.99999999999999,72.0,61.0,86.0,86.0,86.0,86.0,60.0,60.0,60.0,60.0,35.0,35.0,44.0,38.0,31.0,39.0,56.00000000000001,42.0,57.4
+GigaChat-Max,73.0,76.0,83.0,77.33333333333333,85.0,85.0,85.0,85.0,38.0,38.0,38.0,38.0,16.0,16.0,23.0,18.333333333333332,48.0,55.00000000000001,69.0,57.333333333333336,55.2
+GigaChat-Pro,61.0,64.0,76.0,67.0,79.0,81.0,79.0,79.66666666666667,45.0,45.0,45.0,45.0,25.0,25.0,30.0,26.666666666666668,48.0,55.00000000000001,68.0,57.0,55.06666666666667
+YandexGPT4-Pro,31.0,35.0,77.0,47.666666666666664,85.0,85.0,85.0,85.0,35.0,35.0,54.0,41.333333333333336,21.0,21.0,47.0,29.666666666666668,45.0,56.00000000000001,69.0,56.666666666666664,52.06666666666667
+YandexGPT4-Pro-32k,31.0,34.0,77.0,47.333333333333336,85.0,85.0,85.0,85.0,34.0,34.0,55.00000000000001,41.0,21.0,21.0,47.0,29.666666666666668,45.0,56.99999999999999,69.0,57.0,52.0
+gemma2:27b-instruct-q4_0,49.0,56.99999999999999,69.0,58.333333333333336,82.0,83.0,82.0,82.33333333333333,48.0,48.0,48.0,48.0,13.0,13.0,18.0,14.666666666666666,39.0,48.0,63.0,50.0,50.666666666666664
+GigaChat-Lite,56.99999999999999,61.0,72.0,63.333333333333336,75.0,76.0,75.0,75.33333333333333,38.0,38.0,38.0,38.0,13.0,13.0,17.0,14.333333333333334,35.0,42.0,56.99999999999999,44.666666666666664,47.13333333333333
+llama405,21.0,62.0,77.0,53.333333333333336,60.0,91.0,91.0,80.66666666666667,24.0,33.0,51.0,36.0,5.0,7.000000000000001,20.0,10.666666666666666,9.0,56.00000000000001,66.0,43.666666666666664,44.86666666666667
+ai-sage/GigaChat-20B-A3B-instruct,30.0,33.0,44.0,35.666666666666664,76.0,81.0,76.0,77.66666666666667,42.0,42.0,42.0,42.0,12.0,12.0,16.0,13.333333333333334,38.0,47.0,61.0,48.666666666666664,43.46666666666667
+gemma2:9b-instruct-q4_0,41.0,54.0,64.0,53.0,77.0,80.0,77.0,78.0,32.0,33.0,35.0,33.333333333333336,5.0,5.0,10.0,6.666666666666667,25.0,34.0,49.0,36.0,41.4
+llama3.1:70b-instruct-q4_0,42.0,57.99999999999999,68.0,56.0,49.0,85.0,84.0,72.66666666666667,14.000000000000002,17.0,33.0,21.333333333333332,1.0,2.0,14.000000000000002,5.666666666666667,11.0,54.0,64.0,43.0,39.733333333333334
+llama3:70b-instruct-q4_0,35.0,63.0,60.0,52.666666666666664,79.0,81.0,79.0,79.66666666666667,12.0,14.000000000000002,25.0,17.0,4.0,5.0,6.0,5.0,7.000000000000001,47.0,57.99999999999999,37.333333333333336,38.333333333333336
+YandexGPT4-Lite,33.0,38.0,57.99999999999999,43.0,74.0,75.0,74.0,74.33333333333333,6.0,6.0,7.000000000000001,6.333333333333333,2.0,2.0,5.0,3.0,35.0,52.0,66.0,51.0,35.53333333333333
+qwen2.5:7b-instruct-q4_0,27.0,36.0,57.99999999999999,40.333333333333336,71.0,72.0,71.0,71.33333333333333,30.0,30.0,30.0,30.0,5.0,6.0,10.0,7.0,15.0,19.0,38.0,24.0,34.53333333333333
+mistral-nemo:12b-instruct-2407-q4_0,10.0,11.0,38.0,19.666666666666668,68.0,68.0,68.0,68.0,23.0,23.0,23.0,23.0,0.0,0.0,8.0,2.6666666666666665,27.0,37.0,51.0,38.333333333333336,30.333333333333332
+rscr/vikhr_nemo_12b:latest,23.0,31.0,53.0,35.666666666666664,56.00000000000001,73.0,64.0,64.33333333333333,11.0,19.0,20.0,16.666666666666668,2.0,3.0,11.0,5.333333333333333,12.0,28.999999999999996,41.0,27.333333333333332,29.866666666666667
+ilyagusev/saiga_nemo_12b,3.0,4.0,59.0,22.0,70.0,71.0,70.0,70.33333333333333,17.0,17.0,18.0,17.333333333333332,1.0,1.0,10.0,4.0,23.0,34.0,48.0,35.0,29.733333333333334
+qwen2:7b-instruct-q4_0,11.0,13.0,55.00000000000001,26.333333333333332,67.0,68.0,67.0,67.33333333333333,22.0,22.0,23.0,22.333333333333332,2.0,2.0,8.0,4.0,5.0,13.0,28.999999999999996,15.666666666666666,27.133333333333333
+phi3:14b-medium-4k-instruct-q4_0,0.0,0.0,60.0,20.0,70.0,76.0,74.0,73.33333333333333,3.0,4.0,41.0,16.0,0.0,0.0,9.0,3.0,7.000000000000001,20.0,31.0,19.333333333333332,26.333333333333332
+owl/t-lite:q4_0-instruct,3.0,6.0,42.0,17.0,66.0,68.0,67.0,67.0,10.0,11.0,12.0,11.0,1.0,1.0,3.0,1.6666666666666667,4.0,35.0,48.0,29.0,25.133333333333333
+ilyagusev/saiga_llama3,2.0,9.0,52.0,21.0,65.0,65.0,65.0,65.0,9.0,9.0,20.0,12.666666666666666,0.0,0.0,4.0,1.3333333333333333,8.0,24.0,38.0,23.333333333333332,24.666666666666668
+mixtral:8x7b-instruct-v0.1-q4_0,0.0,13.0,53.0,22.0,16.0,78.0,71.0,55.0,2.0,15.0,27.0,14.666666666666666,0.0,2.0,12.0,4.666666666666667,2.0,9.0,12.0,7.666666666666667,20.8
+mistral:7b-instruct-v0.3-q4_0,0.0,0.0,44.0,14.666666666666666,54.0,57.99999999999999,56.99999999999999,56.333333333333336,0.0,0.0,31.0,10.333333333333334,0.0,0.0,4.0,1.3333333333333333,3.0,14.000000000000002,24.0,13.666666666666666,19.266666666666666
+solar:10.7b-instruct-v1-q4_0,0.0,0.0,49.0,16.333333333333332,50.0,65.0,63.0,59.333333333333336,0.0,0.0,19.0,6.333333333333333,0.0,0.0,3.0,1.0,4.0,13.0,22.0,13.0,19.2
+yi:9b,8.0,17.0,39.0,21.333333333333332,39.0,49.0,46.0,44.666666666666664,12.0,14.000000000000002,14.000000000000002,13.333333333333334,0.0,0.0,1.0,0.3333333333333333,2.0,6.0,14.000000000000002,7.333333333333333,17.4
+llama3.1:8b-instruct-q4_0,0.0,0.0,50.0,16.666666666666668,4.0,64.0,60.0,42.666666666666664,0.0,1.0,3.0,1.3333333333333333,0.0,0.0,6.0,2.0,0.0,24.0,40.0,21.333333333333332,16.8
+llama3:8b-instruct-q4_0,0.0,0.0,50.0,16.666666666666668,12.0,65.0,64.0,47.0,0.0,1.0,3.0,1.3333333333333333,0.0,0.0,4.0,1.3333333333333333,0.0,20.0,33.0,17.666666666666668,16.8
+wavecut/vikhr:7b-instruct_0.4-Q4_1,0.0,0.0,39.0,13.0,41.0,49.0,47.0,45.666666666666664,2.0,3.0,7.000000000000001,4.0,0.0,0.0,1.0,0.3333333333333333,10.0,19.0,30.0,19.666666666666668,16.533333333333335
+gemma:7b-instruct-v1.1-q4_0,2.0,9.0,39.0,16.666666666666668,13.0,56.00000000000001,54.0,41.0,7.000000000000001,10.0,11.0,9.333333333333334,1.0,1.0,4.0,2.0,0.0,4.0,16.0,6.666666666666667,15.133333333333333
+random,4.04341349223239,7.59736114066823,32.698446477974,14.77974037029154,24.5103137458832,24.5103137458832,24.5103137458832,24.5103137458832,14.0740740740741,14.0740740740741,14.0740740740741,14.0740740740741,0.828500414250207,0.828500414250207,3.23115161557581,1.629384148025408,,,,,13.748378084568563
+qwen:7b,0.0,0.0,30.0,10.0,36.0,37.0,36.0,36.333333333333336,12.0,12.0,14.000000000000002,12.666666666666666,0.0,0.0,1.0,0.3333333333333333,0.0,3.0,16.0,6.333333333333333,13.133333333333333
+llama3.2:3b-instruct-q4_0,0.0,0.0,30.0,10.0,0.0,48.0,48.0,32.0,0.0,0.0,10.0,3.3333333333333335,0.0,0.0,1.0,0.3333333333333333,0.0,6.0,19.0,8.333333333333334,10.8
+yi:6b,1.0,18.0,13.0,10.666666666666666,28.000000000000004,36.0,35.0,33.0,0.0,6.0,4.0,3.3333333333333335,0.0,1.0,1.0,0.6666666666666666,1.0,3.0,10.0,4.666666666666667,10.466666666666667
+llama2:13b,0.0,0.0,25.0,8.333333333333334,0.0,56.00000000000001,4.0,20.000000000000004,0.0,0.0,1.0,0.3333333333333333,0.0,0.0,0.0,0.0,0.0,7.000000000000001,12.0,6.333333333333333,7.0
+llama3.2:1b-instruct-q4_0,0.0,1.0,14.000000000000002,5.000000000000001,0.0,42.0,19.0,20.333333333333332,0.0,3.0,0.0,1.0,0.0,0.0,0.0,0.0,0.0,2.0,10.0,4.0,6.066666666666666
+Среднее значение,30.089853633160722,36.25771913645929,58.615521032843866,41.654364600821296,60.43356252768629,72.70022919435296,69.72245141657518,67.6187477128715,28.49053497942387,29.71275720164609,34.6238683127572,30.942386831275705,13.440633342538895,13.862855564761116,19.42735892479057,15.576949277363527,20.727272727272727,35.25,47.13636363636363,34.37121212121211,37.94107506854597