|
--- |
|
license: apache-2.0 |
|
base_model: v2ray/Mixtral-8x22B-v0.1 |
|
inference: false |
|
model_creator: MaziyarPanahi |
|
model_name: Mixtral-8x22B-v0.1-GGUF |
|
pipeline_tag: text-generation |
|
quantized_by: MaziyarPanahi |
|
tags: |
|
- quantized |
|
- 2-bit |
|
- 3-bit |
|
- 4-bit |
|
- 5-bit |
|
- 6-bit |
|
- 8-bit |
|
- 16-bit |
|
- GGUF |
|
- mixtral |
|
- moe |
|
--- |
|
|
|
# Mixtral-8x22B-v0.1-GGUF |
|
|
|
in progress ... |
|
|
|
## Load sharded model |
|
|
|
`llama_load_model_from_file` will detect the number of files and will load additional tensors from the rest of files. |
|
|
|
``` |
|
main --model Mixtral-8x22B-v0.1.fp16-00001-of-00005.gguf -ngl 64 |
|
``` |
|
|
|
|
|
|
|
## Credit |
|
|
|
Thank you MistralAI for opening the weights and thank you @v2ray for converting and preparing the [Mixtral-8x22B-v0.1](https://huggingface.co/v2ray/Mixtral-8x22B-v0.1) model. |
|
|
|
▄▄▄░░ |
|
▄▄▄▄▄█████████░░░░ |
|
▄▄▄▄▄▄████████████████████░░░░░ |
|
█████████████████████████████░░░░░ |
|
▄▄▄▄▄▄█████░░░ █████████████████████████████░░░░░ |
|
▄▄▄▄▄██████████████████░░░░░░ ██████████████████████████████░░░░░ |
|
▄█████████████████████████████░░░░░░░░██████████████████████████████░░░░░ |
|
███████████████████████████████░░░░░░░██████████████████████████████░░░░░ |
|
███████████████████████████████░░░░░░░██████████████████████████████░░░░░ |
|
███████████████████████████████░░░░░░███████████████████████████████░░░░░ |
|
████████████████████████████████░░░░░███████████████████████████████░░░░░ |
|
████████████████████████████████░░░░████████████████████████████████░░░░░ |
|
█████████████████████████████████░░░████████████████████████████████░░░░░ |
|
█████████████████████████████████░░░████████████░███████████████████░░░░░ |
|
██████████████████████████████████░█████████████░███████████████████░░░░░ |
|
███████████████████░██████████████▄█████████████░███████████████████░░░░░ |
|
███████████████████░███████████████████████████░░███████████████████░░░░░ |
|
███████████████████░░██████████████████████████░░███████████████████░░░░░ |
|
███████████████████░░█████████████████████████░░░███████████████████░░░░░ |
|
███████████████████░░░████████████████████████░░░███████████████████░░░░░ |
|
███████████████████░░░████████████████████████░░░███████████████████░░░░░ |
|
███████████████████░░░░██████████████████████░░░░███████████████████░░░░░ |
|
███████████████████░░░░██████████████████████░░░░███████████████████░░░░░ |
|
███████████████████░░░░░█████████████████████░░░░███████████████████░░░░░ |
|
███████████████████░░░░░████████████████████░░░░░███████████████████░░░░░ |
|
███████████████████░░░░░░███████████████████░░░░░███████████████████░░░░░ |
|
███████████████████░░░░░░██████████████████░░░░░░███████████████████░░░░░ |
|
███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░ |
|
███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░ |
|
███████████████████░░░░░░░░███████████████░░░░░░░██████████░░░░░░░░░░░░░░ |
|
███████████████████░░░░░░░░███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
███████████████████░░░░░░░░███████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
███████████████████░░░░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░ |
|
░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░ |
|
░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░░░░░░░░░░░░ |
|
░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
░░░░░░░░░░░░░░░░░ |
|
░░░░░ |
|
|
