---
model_creator: Vikhrmodels
base_model: Vikhr-7B-instruct
model_name: Vikhr-7B-instruct-GGUF
pipeline_tag: text-generation
license: apache-2.0
model_type: mistral
inference: false
prompt_template: '<s>{role}\n{content}</s>\n'
pretrain-datasets:
  - IlyaGusev/habr
datasets:
  - zjkarina/Vikhr_instruct
language:
  - ru
  - en
---
# Vikhr-7B-instruct-GGUF
- Model creator: [Vikhrmodels](https://huggingface.co/Vikhrmodels)
- Original model: [Vikhr-7B-instruct](https://huggingface.co/Vikhrmodels/Vikhr-7B-instruct)


## Description
This repository contains quantized GGUF format model files for [Vikhr-7B-instruct_merged](https://huggingface.co/Vikhrmodels/Vikhr-7B-instruct_merged).


## Default message template:
`<s>{role}\n{content}</s>\n`


## Default system prompt:
`Ты — Вихрь, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.`


## Example `llama.cpp` command
```shell
./main -m Vikhr-7B-instruct-Q4_K_M.gguf -c 32768 -n -1 -p $'<s>system\nТы — Вихрь, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.</s>\n<s>user\nКак тебя зовут?</s>\n<s>bot\n'
```
```
system
Ты — Вихрь, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.
user
Как тебя зовут?
bot
Я называю себя Вихрем! [end of text]
```
For other parameters and how to use them, please refer to [the llama.cpp documentation](https://github.com/ggerganov/llama.cpp/blob/master/examples/main/README.md)