Spaces:
Running
Running
Update src/display/about.py
Browse files- src/display/about.py +8 -6
src/display/about.py
CHANGED
@@ -15,12 +15,13 @@ icons = f"""
|
|
15 |
LLM_BENCHMARKS_TEXT = """
|
16 |
|
17 |
Маленький Шлепа это бенчмарк для LLM с задачами множественного выбора (multichoice) по следующим темам:
|
|
|
18 |
- Законы Российской Федерации (lawmc)
|
19 |
- Популярная музыка (musicmc)
|
20 |
- Книги (bookmc)
|
21 |
- Фильмы (moviemc)
|
22 |
|
23 |
-
Каждая задача содержит 12 вариантов
|
24 |
|
25 |
## Инструкция по использованию
|
26 |
|
@@ -39,11 +40,12 @@ pip install git+https://github.com/VikhrModels/lm_eval_mc.git --upgrade --force-
|
|
39 |
```bash
|
40 |
!lm_eval \
|
41 |
--model hf \
|
42 |
-
--model_args pretrained={
|
43 |
-
--
|
44 |
-
--
|
45 |
-
--
|
46 |
-
--
|
|
|
47 |
```
|
48 |
|
49 |
### Результаты
|
|
|
15 |
LLM_BENCHMARKS_TEXT = """
|
16 |
|
17 |
Маленький Шлепа это бенчмарк для LLM с задачами множественного выбора (multichoice) по следующим темам:
|
18 |
+
- Сложные междисциплинные вопросы (MMLUpro-ru)
|
19 |
- Законы Российской Федерации (lawmc)
|
20 |
- Популярная музыка (musicmc)
|
21 |
- Книги (bookmc)
|
22 |
- Фильмы (moviemc)
|
23 |
|
24 |
+
Каждая задача содержит 12 вариантов ответа, mmlupro-ru из 10.
|
25 |
|
26 |
## Инструкция по использованию
|
27 |
|
|
|
40 |
```bash
|
41 |
!lm_eval \
|
42 |
--model hf \
|
43 |
+
--model_args pretrained={hf/model},dtype=float16 \
|
44 |
+
--batch_size 8 \
|
45 |
+
--apply_chat_template \
|
46 |
+
--num_fewshot 0 \
|
47 |
+
--tasks musicmc,moviemc,bookmc,lawmc,mmluproru \
|
48 |
+
--output output
|
49 |
```
|
50 |
|
51 |
### Результаты
|