| FROM ./ggml-model-int4.gguf | |
| FROM ./mmproj-model-f16.gguf | |
| TEMPLATE """{{ if .System }}<|system|> | |
| {{ .System }}<|end|> | |
| {{ end }}{{ if .Prompt }}<|user|> | |
| {{ .Prompt }}<|end|> | |
| {{ end }}<|assistant|> | |
| {{ .Response }}<|end|> | |
| """ | |
| PARAMETER stop "<|user|>" | |
| PARAMETER stop "<|assistant|>" | |
| PARAMETER stop "<|system|>" | |
| PARAMETER stop "<|end|>" | |
| PARAMETER stop "<|endoftext|>" | |
| PARAMETER num_keep 4 | |
| PARAMETER num_ctx 4096 |