File size: 9,930 Bytes
fa57982 12d68e7 fa57982 f402560 cdbeb3e c3bff46 7b68d6a d10f4c3 21f5810 486bef9 7b68d6a f402560 9eced6b c3bff46 9eced6b d12a7b3 21fc5b4 f402560 9eced6b 76cb9ff 7b887b2 d12a7b3 d10f4c3 ac96a04 76cb9ff 7b887b2 76cb9ff |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 |
---
license: apache-2.0
---
Model card for the Mistral-Evolved-11b-v0.1 AI model.
An upscaling and continued pretraining of Mistral-7B-v0.1 AI model by MistralAi.
❤ Thank you for the original Mistral-7B-v0.1 model to:
```yaml
▄▄▄░░
▄▄▄▄▄█████████░░░░
▄▄▄▄▄▄████████████████████░░░░░
█████████████████████████████░░░░░
▄▄▄▄▄▄█████░░░ █████████████████████████████░░░░░
▄▄▄▄▄██████████████████░░░░░░ ██████████████████████████████░░░░░
▄█████████████████████████████░░░░░░░░██████████████████████████████░░░░░
███████████████████████████████░░░░░░░██████████████████████████████░░░░░
███████████████████████████████░░░░░░░██████████████████████████████░░░░░
███████████████████████████████░░░░░░███████████████████████████████░░░░░
████████████████████████████████░░░░░███████████████████████████████░░░░░
████████████████████████████████░░░░████████████████████████████████░░░░░
█████████████████████████████████░░░████████████████████████████████░░░░░
█████████████████████████████████░░░████████████░███████████████████░░░░░
██████████████████████████████████░█████████████░███████████████████░░░░░
███████████████████░██████████████▄█████████████░███████████████████░░░░░
███████████████████░███████████████████████████░░███████████████████░░░░░
███████████████████░░██████████████████████████░░███████████████████░░░░░
███████████████████░░█████████████████████████░░░███████████████████░░░░░
███████████████████░░░████████████████████████░░░███████████████████░░░░░
███████████████████░░░████████████████████████░░░███████████████████░░░░░
███████████████████░░░░██████████████████████░░░░███████████████████░░░░░
███████████████████░░░░██████████████████████░░░░███████████████████░░░░░
███████████████████░░░░░█████████████████████░░░░███████████████████░░░░░
███████████████████░░░░░████████████████████░░░░░███████████████████░░░░░
███████████████████░░░░░░███████████████████░░░░░███████████████████░░░░░
███████████████████░░░░░░██████████████████░░░░░░███████████████████░░░░░
███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░
███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░
███████████████████░░░░░░░░███████████████░░░░░░░██████████░░░░░░░░░░░░░░
███████████████████░░░░░░░░███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
███████████████████░░░░░░░░███████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
███████████████████░░░░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░
░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░
░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░░░░░░░░░░░░
░░░░░░░░░░░░░░░░░░░░░░░░░░░░
░░░░░░░░░░░░░░░░░
░░░░░
```
The Mistral-Evolved-11b-v0.1 AI model is a next generation AI meant to continue the legacy started by MistralAi. What began as a 7b parameter model, we have now grown, not only in capacity but also in intelligence, to help bring more to the open source AI community that was sorely needed in this area. Mistral-7B-v0.1 at the time of release was the best and smartest AI model for its size, and we at Replete-AI hope to reproduce that success with our new model at its 11b parameter size.
The model had continued pre-training on a private collection of data that we do not plan on releasing at the current time.
_____________________________________________________________________________________
The Prompt template for the Mistral-Evolved-11b-v0.1 is (ChatML) as that is the format that it was trained on.
```
<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
```
Note: I've had some confusion as to the prompt format, how the model was trained, and how to further finetune the model so I want to clarify: Although the ChatML format is best used when training the model, there will not be an issue if other formats are used. Other formats like Alpaca. As long as they are in the same general structure as ChatML.
_____________________________________________________________________________________
Quanitzations for the model can be found bellow
GGUF
- https://huggingface.co/bartowski/Mistral-Evolved-11b-v0.1-GGUF
exl2
- https://huggingface.co/bartowski/Mistral-Evolved-11b-v0.1-exl2
_____________________________________________________________________________________
Join the Replete-AI discord server!
https://discord.gg/ZTjEp3EuHV
|