metadata
language:
- en
tags:
- gguf
- llama.cpp
- tiny
- tinyllama
TinyLlama-1.1B-Chat-v1.0
Requisitos
Para usar este modelo, necesitas tener instalado llama.cpp en tu equipo. Puedes obtener llama.cpp desde el siguiente repositorio:
Para instalar llama.cpp, sigue estos pasos:
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
Uso del modelo
La plantilla del modelo es la siguiente:
<|system|>\nAnswer user questions</s>\n<|user|>\n{prompt}</s>\n<|assistant|>
Puedes utilizar el modelo en llama.cpp con el siguiente comando:
./main -m ggml-model-Q8_0.gguf -p "<|system|>\nAnswer user questions</s>\n<|user|>\nHi</s>\n<|assistant|>" --log-disable
LM Studio config-presets
Filename:tinyllamachat.preset.json
{
"name": "TinyLlama Chat",
"inference_params": {
"input_prefix": "<|user|>\n",
"input_suffix": "</s>\n<|assistant|>\n",
"antiprompt": [
"<|user|>\n",
"</s>\n<|assistant|>\n"
],
"pre_prompt": "<|system|>\nAnswer user questions</s>",
"pre_prompt_prefix": "",
"pre_prompt_suffix": ""
},
"load_params": {
"rope_freq_scale": 0,
"rope_freq_base": 0
}
}