model,PROVOC_1_num_q_EM,PROVOC_1_num_q_CC,PROVOC_1_num_q_PM,PROVOC_1_open_q_EM,PROVOC_1_open_q_F1,PROVOC_1_open_q_LR,PROVOC_1_avg,PROVOC_2_num_q_EM,PROVOC_2_num_q_CC,PROVOC_2_num_q_PM,PROVOC_2_open_q_EM,PROVOC_2_open_q_F1,PROVOC_2_open_q_LR,PROVOC_2_avg,PROVOC_3_num_q_EM,PROVOC_3_num_q_CC,PROVOC_3_num_q_PM,PROVOC_3_open_q_EM,PROVOC_3_open_q_F1,PROVOC_3_open_q_LR,PROVOC_3_avg,PROVOC_avg
claude-3-5-sonnet,88.0,89.0,90.0,67.0,73.0,83.0,81.66666666666667,84.0,84.0,86.0,65.0,73.0,81.0,78.83333333333333,77.0,78.0,81.0,55.00000000000001,60.0,72.0,70.5,77.0
gemini-pro-1.5,83.0,85.0,86.0,61.0,71.0,83.0,78.16666666666667,81.0,83.0,85.0,54.0,68.0,77.0,74.66666666666667,72.0,74.0,80.0,51.0,60.0,71.0,68.0,73.61111111111111
mistral-123b,78.0,79.0,82.0,56.99999999999999,67.0,78.0,73.5,73.0,75.0,78.0,56.00000000000001,64.0,72.0,69.66666666666667,66.0,69.0,74.0,48.0,54.0,63.0,62.333333333333336,68.5
deepseek-r1,77.0,89.0,91.0,30.0,67.0,74.0,71.33333333333333,65.0,85.0,86.0,18.0,59.0,66.0,63.166666666666664,69.0,77.0,79.0,15.0,55.00000000000001,65.0,60.0,64.83333333333333
GigaChat-Max,76.0,76.0,78.0,54.0,60.0,74.0,69.66666666666667,72.0,73.0,76.0,49.0,56.99999999999999,70.0,66.16666666666667,60.0,62.0,67.0,40.0,47.0,62.0,56.333333333333336,64.05555555555556
gpt-4o,85.0,87.0,88.0,20.0,71.0,78.0,71.5,79.0,80.0,83.0,6.0,64.0,71.0,63.833333333333336,67.0,69.0,74.0,6.0,56.00000000000001,66.0,56.333333333333336,63.888888888888886
qwen2.5:72b-instruct-q4_0,76.0,81.0,81.0,41.0,51.0,66.0,66.0,73.0,79.0,78.0,44.0,54.0,65.0,65.5,61.0,71.0,71.0,34.0,44.0,57.99999999999999,56.5,62.666666666666664
t-tech/T-pro-it-1.0,77.0,79.0,82.0,38.0,53.0,69.0,66.33333333333333,74.0,76.0,79.0,36.0,49.0,63.0,62.833333333333336,65.0,68.0,74.0,28.000000000000004,44.0,57.99999999999999,56.166666666666664,61.77777777777778
GigaChat-Pro,71.0,73.0,75.0,52.0,61.0,74.0,67.66666666666667,63.0,64.0,69.0,55.00000000000001,61.0,73.0,64.16666666666667,56.00000000000001,57.99999999999999,65.0,38.0,43.0,57.99999999999999,53.0,61.611111111111114
YandexGPT4-Pro,64.0,64.0,80.0,52.0,63.0,75.0,66.33333333333333,59.0,60.0,77.0,43.0,56.99999999999999,70.0,61.0,36.0,38.0,67.0,39.0,49.0,61.0,48.333333333333336,58.55555555555556
YandexGPT4-Pro-32k,64.0,64.0,80.0,52.0,63.0,75.0,66.33333333333333,59.0,60.0,77.0,43.0,56.99999999999999,70.0,61.0,36.0,38.0,67.0,39.0,49.0,60.0,48.166666666666664,58.5
qwen2.5:32b-instruct-q4_0,72.0,75.0,78.0,33.0,42.0,57.99999999999999,59.666666666666664,71.0,74.0,76.0,33.0,43.0,55.00000000000001,58.666666666666664,61.0,66.0,72.0,28.999999999999996,38.0,51.0,52.833333333333336,57.05555555555556
gemma2:27b-instruct-q4_0,65.0,67.0,72.0,41.0,50.0,66.0,60.166666666666664,61.0,64.0,68.0,40.0,49.0,62.0,57.333333333333336,52.0,56.99999999999999,63.0,35.0,45.0,59.0,51.833333333333336,56.44444444444444
rscr/ruadapt_qwen2.5_32b:Q4_K_M,70.0,71.0,76.0,34.0,42.0,59.0,58.666666666666664,69.0,70.0,76.0,33.0,42.0,56.99999999999999,57.833333333333336,59.0,61.0,70.0,25.0,34.0,52.0,50.166666666666664,55.55555555555556
qwen2:72b-instruct-q4_0,74.0,79.0,79.0,14.000000000000002,45.0,57.99999999999999,58.166666666666664,69.0,75.0,74.0,10.0,48.0,56.00000000000001,55.333333333333336,56.99999999999999,67.0,68.0,13.0,41.0,50.0,49.333333333333336,54.27777777777778
GigaChat-Lite,63.0,65.0,68.0,33.0,40.0,56.99999999999999,54.333333333333336,63.0,64.0,68.0,44.0,53.0,64.0,59.333333333333336,51.0,54.0,60.0,28.999999999999996,35.0,49.0,46.333333333333336,53.333333333333336
llama405,41.0,70.0,79.0,13.0,57.99999999999999,71.0,55.333333333333336,41.0,72.0,77.0,6.0,56.99999999999999,66.0,53.166666666666664,28.000000000000004,61.0,69.0,7.000000000000001,52.0,60.0,46.166666666666664,51.55555555555556
YandexGPT4-Lite,51.0,52.0,59.0,38.0,56.00000000000001,70.0,54.333333333333336,51.0,52.0,59.0,35.0,52.0,66.0,52.5,37.0,40.0,49.0,31.0,46.0,60.0,43.833333333333336,50.22222222222222
ai-sage/GigaChat-20B-A3B-instruct,57.99999999999999,62.0,63.0,39.0,49.0,64.0,55.833333333333336,52.0,55.00000000000001,56.99999999999999,44.0,52.0,65.0,54.166666666666664,33.0,35.0,40.0,31.0,42.0,56.00000000000001,39.5,49.833333333333336
llama3.1:70b-instruct-q4_0,40.0,63.0,70.0,14.000000000000002,55.00000000000001,68.0,51.666666666666664,41.0,65.0,68.0,7.000000000000001,56.99999999999999,65.0,50.5,35.0,56.00000000000001,62.0,10.0,50.0,59.0,45.333333333333336,49.166666666666664
llama3:70b-instruct-q4_0,54.0,63.0,64.0,9.0,47.0,60.0,49.5,52.0,64.0,61.0,5.0,50.0,59.0,48.5,41.0,57.99999999999999,55.00000000000001,7.000000000000001,43.0,55.00000000000001,43.166666666666664,47.05555555555556
gemma2:9b-instruct-q4_0,56.00000000000001,62.0,65.0,28.000000000000004,36.0,52.0,49.833333333333336,56.00000000000001,61.0,63.0,27.0,36.0,52.0,49.166666666666664,45.0,53.0,56.99999999999999,21.0,28.999999999999996,44.0,41.5,46.833333333333336
ilyagusev/saiga_nemo_12b,38.0,39.0,56.00000000000001,24.0,33.0,49.0,39.833333333333336,39.0,39.0,57.99999999999999,27.0,37.0,52.0,42.0,22.0,22.0,55.00000000000001,20.0,31.0,44.0,32.333333333333336,38.05555555555556
qwen2.5:7b-instruct-q4_0,47.0,49.0,59.0,16.0,20.0,39.0,38.333333333333336,48.0,51.0,56.99999999999999,18.0,24.0,41.0,39.833333333333336,41.0,46.0,55.00000000000001,10.0,14.000000000000002,32.0,33.0,37.05555555555556
rscr/vikhr_nemo_12b:latest,36.0,48.0,50.0,15.0,32.0,47.0,38.0,38.0,49.0,54.0,12.0,31.0,42.0,37.666666666666664,32.0,42.0,52.0,9.0,25.0,35.0,32.5,36.05555555555556
owl/t-lite:q4_0-instruct,34.0,37.0,48.0,6.0,34.0,50.0,34.833333333333336,37.0,39.0,49.0,4.0,40.0,50.0,36.5,22.0,24.0,43.0,1.0,32.0,43.0,27.5,32.94444444444444
ilyagusev/saiga_llama3,34.0,35.0,52.0,6.0,23.0,38.0,31.333333333333332,35.0,37.0,52.0,11.0,28.999999999999996,44.0,34.666666666666664,21.0,27.0,48.0,6.0,21.0,34.0,26.166666666666668,30.72222222222222
phi3:14b-medium-4k-instruct-q4_0,36.0,38.0,63.0,3.0,18.0,30.0,31.333333333333332,36.0,41.0,60.0,10.0,26.0,37.0,35.0,20.0,23.0,55.00000000000001,7.000000000000001,18.0,28.000000000000004,25.166666666666668,30.5
qwen2:7b-instruct-q4_0,41.0,43.0,55.00000000000001,5.0,14.000000000000002,32.0,31.666666666666668,38.0,40.0,54.0,7.000000000000001,14.000000000000002,31.0,30.666666666666668,24.0,26.0,51.0,3.0,10.0,24.0,23.0,28.444444444444443
llama3.1:8b-instruct-q4_0,2.0,31.0,45.0,0.0,23.0,42.0,23.833333333333332,3.0,35.0,49.0,0.0,27.0,42.0,26.0,2.0,19.0,49.0,0.0,22.0,37.0,21.5,23.77777777777778
solar:10.7b-instruct-v1-q4_0,24.0,32.0,49.0,4.0,14.000000000000002,25.0,24.666666666666668,28.999999999999996,35.0,50.0,4.0,13.0,22.0,25.5,14.000000000000002,19.0,46.0,4.0,12.0,18.0,18.833333333333332,23.0
wavecut/vikhr:7b-instruct_0.4-Q4_1,21.0,24.0,36.0,11.0,19.0,31.0,23.666666666666668,22.0,26.0,38.0,8.0,19.0,28.999999999999996,23.666666666666668,12.0,14.000000000000002,35.0,10.0,20.0,28.999999999999996,20.0,22.444444444444443
mistral:7b-instruct-v0.3-q4_0,27.0,28.000000000000004,46.0,3.0,14.000000000000002,26.0,24.0,28.999999999999996,32.0,46.0,3.0,15.0,24.0,24.833333333333332,15.0,16.0,41.0,4.0,13.0,22.0,18.5,22.444444444444443
llama3:8b-instruct-q4_0,7.000000000000001,32.0,48.0,0.0,17.0,33.0,22.833333333333332,6.0,34.0,51.0,0.0,24.0,36.0,25.166666666666668,3.0,19.0,46.0,0.0,18.0,28.999999999999996,19.166666666666668,22.38888888888889
mixtral:8x7b-instruct-v0.1-q4_0,9.0,44.0,56.00000000000001,2.0,10.0,15.0,22.666666666666668,7.000000000000001,46.0,56.99999999999999,1.0,9.0,11.0,21.833333333333332,4.0,32.0,51.0,2.0,9.0,10.0,18.0,20.833333333333332
yi:9b,22.0,30.0,36.0,3.0,6.0,17.0,19.0,25.0,32.0,37.0,2.0,6.0,13.0,19.166666666666668,18.0,28.000000000000004,37.0,0.0,4.0,11.0,16.333333333333332,18.166666666666668
random,15.4513003569607,16.8111507734149,25.5141934387217,,,,19.2588815230324,14.3196829590489,15.4821664464993,23.3157199471598,,,,17.7058564509027,10.0271002710027,11.4837398373984,25.0338753387534,,,,15.5149051490515,17.4932143743289
gemma:7b-instruct-v1.1-q4_0,8.0,33.0,42.0,0.0,4.0,17.0,17.333333333333332,7.000000000000001,33.0,41.0,0.0,5.0,15.0,16.833333333333332,6.0,22.0,38.0,0.0,4.0,15.0,14.166666666666666,16.11111111111111
qwen:7b,19.0,20.0,28.999999999999996,0.0,4.0,18.0,15.0,20.0,20.0,30.0,0.0,4.0,17.0,15.166666666666666,10.0,11.0,27.0,0.0,2.0,12.0,10.333333333333334,13.5
llama3.2:3b-instruct-q4_0,0.0,23.0,34.0,0.0,5.0,21.0,13.833333333333334,0.0,27.0,37.0,0.0,7.000000000000001,19.0,15.0,0.0,14.000000000000002,31.0,0.0,6.0,17.0,11.333333333333334,13.38888888888889
yi:6b,15.0,22.0,21.0,1.0,3.0,12.0,12.333333333333334,14.000000000000002,26.0,24.0,1.0,4.0,9.0,13.0,9.0,23.0,18.0,0.0,3.0,8.0,10.166666666666666,11.833333333333334
llama2:13b,0.0,32.0,10.0,0.0,6.0,12.0,10.0,0.0,24.0,9.0,0.0,7.000000000000001,11.0,8.5,0.0,15.0,17.0,0.0,8.0,14.000000000000002,9.0,9.166666666666666
llama3.2:1b-instruct-q4_0,0.0,20.0,15.0,0.0,2.0,10.0,7.833333333333333,0.0,25.0,15.0,0.0,2.0,9.0,8.5,0.0,12.0,10.0,0.0,2.0,10.0,5.666666666666667,7.333333333333333
Среднее значение,44.61514651992932,52.83281745984686,59.57009752183073,21.88095238095238,36.214285714285715,49.42857142857143,43.89749336875268,43.14696937114067,52.12749224294185,58.425946975515345,20.5,36.785714285714285,47.595238095238095,42.89626022754039,33.69830465746518,41.29031953110229,53.34962500787798,16.833333333333332,30.714285714285715,41.92857142857143,36.13600554610198,40.97658638079835