File size: 580 Bytes
e9e1497
 
23cea90
 
 
 
3d2dac1
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
---
license: apache-2.0
datasets:
- IlyaGusev/habr
language:
- ru
---
# VikhrT5-3b: Улучшенная модель на базе FLAN T5 3b для русского языка

Cкорее всего она лучше чем FRED T5XL

| Dataset        | VikhrT5-3b | FRED-T5-XL(1.7b) | FLAN-t5-xl(3b) |
|----------------|------------|------------------|----------------|
| ru_mmlu        | 0.32       | 0.252            | 0.28 (лол2)    |
| xwinograd_ru   | 0.71 (lol) | 0.57             | 0.52           |
| xnli_ru        | 0.4280     | 0.34             | 0.33           |