Hugging Face's logo

leafspark
/
Mixtral-8x22B-v0.1

Text Generation
Transformers
Mixture of Experts
text-generation-inference
Inference Endpoints
Model card Files Community
Mixtral-8x22B-v0.1
File size: 10,258 Bytes 
30969b2
 
fc8ca54
e0ae354
 
 
 
ed923a9
 
e0ae354
 
 
 
30969b2
ed923a9
9274c29
 
e0ae354
 
 
 
 
fb0e742
ed923a9
 
 
 
 
 
 
 
 
 
 
e0ae354
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ed923a9
e0ae354
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ed923a9
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
 
---
license: apache-2.0
pipeline_tag: text-generation
language:
- en
- fr
- es
- it
- de
library_name: transformers
tags:
- moe
- text-generation-inference
---
# Mixtral-8x22B-v0.1
New MoE model by MistralAI

## Model Details:
- 65k context window
- 48 attention heads
- 56 layers
- 8 experts

## Benchmarks
```
ARC C (25-shot): 70.5
Hellaswag (10-shot): 88.9
MMLU (5-shot): 77.3
TruthfulQA: 52.3
Winogrande (5-shot): 85.2
GSM8K (5-shot): 76.5

Source: https://huggingface.co/mistral-community/Mixtral-8x22B-v0.1/discussions/4#6616c393b8d25135997cdd45
```
The model is split into 27 parts, from the original torrent.

Magnet link and checksum: [https://twitter.com/mistralai/status/1777869263778291896](https://twitter.com/mistralai/status/1777869263778291896)

## How to use:
Run git clone:
```
git clone https://huggingface.co/leafspark/mixtral-8x22b
cd mixtral-8x22b
```
Make sure you have Python 2 or 3 installed (HuggingFace libraries not required):
```
python merge.py
```
This should take approximately 2 hours, you will be left with a 274GB file.
Check the MD5 hash of consolidated.safetensors:
```
3816cd2c4f827b4b868bc6481d5d3ba2
```

That's it! Now you have the complete torrent download on your computer.

## Credit to:
```

                                                                     ▄▄▄░░
                                                            ▄▄▄▄▄█████████░░░░
                                                ▄▄▄▄▄▄████████████████████░░░░░
                                             █████████████████████████████░░░░░
                        ▄▄▄▄▄▄█████░░░       █████████████████████████████░░░░░
             ▄▄▄▄▄██████████████████░░░░░░  ██████████████████████████████░░░░░
      ▄█████████████████████████████░░░░░░░░██████████████████████████████░░░░░
      ███████████████████████████████░░░░░░░██████████████████████████████░░░░░
      ███████████████████████████████░░░░░░░██████████████████████████████░░░░░
      ███████████████████████████████░░░░░░███████████████████████████████░░░░░
      ████████████████████████████████░░░░░███████████████████████████████░░░░░
      ████████████████████████████████░░░░████████████████████████████████░░░░░
      █████████████████████████████████░░░████████████████████████████████░░░░░
      █████████████████████████████████░░░████████████░███████████████████░░░░░
      ██████████████████████████████████░█████████████░███████████████████░░░░░
      ███████████████████░██████████████▄█████████████░███████████████████░░░░░
      ███████████████████░███████████████████████████░░███████████████████░░░░░
      ███████████████████░░██████████████████████████░░███████████████████░░░░░
      ███████████████████░░█████████████████████████░░░███████████████████░░░░░
      ███████████████████░░░████████████████████████░░░███████████████████░░░░░
      ███████████████████░░░████████████████████████░░░███████████████████░░░░░
      ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░
      ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░
      ███████████████████░░░░░█████████████████████░░░░███████████████████░░░░░
      ███████████████████░░░░░████████████████████░░░░░███████████████████░░░░░
      ███████████████████░░░░░░███████████████████░░░░░███████████████████░░░░░
      ███████████████████░░░░░░██████████████████░░░░░░███████████████████░░░░░
      ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░
      ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░
      ███████████████████░░░░░░░░███████████████░░░░░░░██████████░░░░░░░░░░░░░░
      ███████████████████░░░░░░░░███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ███████████████████░░░░░░░░███████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ███████████████████░░░░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░  ░░░░░░░
          ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░      ░░░
                ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░    ░░░░░░░░░░░░░░░░░░
                   ░░░░░░░░░░░░░░░░░░░░░░░░░░░░
                        ░░░░░░░░░░░░░░░░░
                           ░░░░░
```
## Released by the Mistral AI team:                   
      Albert Jiang, Alexandre Sablayrolles, Alexis Tacnet, Antoine Roux,     
  Arthur Mensch, Audrey Herblin-Stoop, Baptiste Bout, Baudouin de Monicault, 
       Blanche Savary, Bam4d, Caroline Feldman, Devendra Singh Chaplot,      
    Diego de las Casas, Eleonore Arcelin, Emma Bou Hanna, Etienne Metzger,   
       Gianna Lengyel, Guillaume Bour, Guillaume Lample, Harizo Rajaona,     
     Jean-Malo Delignon, Jia Li, Justus Murke, Louis Martin, Louis Ternon    
     Lucile Saulnier, Lélio Renard Lavaud, Margaret Jennings, Marie Pellat,  
    Marie Torelli, Marie-Anne Lachaux, Nicolas Schuhl, Patrick von Platen,   
       Pierre Stock, Sandeep Subramanian, Sophia Yang, Szymon Antoniak,      
      Teven Le Scao, Thibaut Lavril, Timothée Lacroix, Théophile Gervet,     
     Thomas Wang, Valera Nemychnikova, William El Sayed, William Marshall