EN

I ran a test model on the data sets, and the results so far are as follows:

IFEval

There may be many errors in the set itself, and the sets do not yet have any conclusions or scores for individual testing categories, but based on this result, it can be concluded that the model does not always follow the instructions, and for this reason it only received 54 points.

#GPQA

Again, there is no information on how the model performs on language-based and category-based tasks, but a score of 62 suggests that the model is likely not answering entirely by guesswork.
In this case, some of the results may be false positives, because the model made a mistake, but accidentally came to the correct answer.
And some are false negatives, since the model may simply not know this data.
Therefore, the only possible conclusion is that the model, in one way or another, is simply able to reason, but nothing more.

MuSR

Unfortunately, the tests in this MuSR variation are quite short, less than 1,000 words, so it is not known how the model obtains data from long texts, but again, the result of 73 allows us to say that most likely, the model, firstly, can extract data, can follow instructions on the recording format and reason on these topics.

MMLU-Pro

This result of 97 speaks only about the model's outlook in general, but not about its knowledge, data, areas; this test can be used to filter out very weak models, but larger ones will probably receive a similar high result.

I won't build a table for now to understand which models to combine or what to train them on, because not all the necessary sets have been collected yet.
That being said, I prefer to use deterministic sets to reduce the likelihood of bias in the estimation model.

In the future, the message may be changed.

RU

Запустил тестовую модель, на данных, наборах, на данный момент результаты, таковы:

IFEval

В самом наборе, может быть, много ошибок, так же, у наборов, нет пока выводов, полученных балов, по отдельным категориям проверки, но, на основе этого результата, можно сделать, вывод, что модель, не всегда, следует указаниям из инструкций, и на этом у неё получено, только 54 бала.

GPQA

Опять же нет информации, как модель справляется с задачами на основе языка, и на основе категорий, но результат 62 говорит, что модель, вероятнее всего отвечает не совсем на угад.
При этом часть результатов, может быть ложно положительным, от того, что модель, ошиблась, но случайно, пришла к верному ответу.
А часть, ложно отрицательными, так, как модель может просто не знать этих данных.
По этому единственный возможный вывод, что модель, просто так или иначе, умеет рассуждать, но не более.

MuSR

К сожалению, тесты довольно короткие в данной вариации MuSR, менее 1.000 слов, по этому не известно, как модель получает данные именно из длинных текстов, но опять же результат, 73 позволяет сказать, что вероятнее всего, модель, во первых, может данные извлечь, может следовать инструкции, по форме записи и рассуждать, на эти темы.

MMLU-Pro

Этот результат 97 говорит, только о кругозоре модели, в целом, но не о её знаниях, данных, областях, этот тест, может использоваться для отсеивания, совсем слабых моделей, но более крупные, вероятно будут получать, схожий высокий результат.

Строить таблицу, для понимания того, какие модели объединять или чему их обучать, я пока не буду, по причине, что собраны, ещё не все необходимые для этого наборы.
При этом, я предпочитаю использовать детерминированные наборы, чтобы уменьшить вероятность предвзятости модели оценки.

В будущем, сообщение может быть изменено.