FROM ./ggml-model-f16.gguf | |
FROM ./mmproj-model-f16.gguf | |
TEMPLATE """{{ if .System }}<|system|> | |
{{ .System }}<|end|> | |
{{ end }}{{ if .Prompt }}<|user|> | |
{{ .Prompt }}<|end|> | |
{{ end }}<|assistant|> | |
{{ .Response }}<|end|> | |
""" | |
PARAMETER stop "<|user|>" | |
PARAMETER stop "<|assistant|>" | |
PARAMETER stop "<|system|>" | |
PARAMETER stop "<|end|>" | |
PARAMETER stop "<|endoftext|>" | |
PARAMETER num_keep 4 | |
PARAMETER num_ctx 4096 |