FROM ./llama3-scmodel-8b.gguf | |
TEMPLATE "{{ if .System }}<|start_header_id|>system<|end_header_id|> | |
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> | |
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> | |
{{ .Response }}<|eot_id|>" | |
PARAMETER num_keep 24 | |
PARAMETER stop <|start_header_id|> | |
PARAMETER stop <|end_header_id|> | |
PARAMETER stop <|eot_id|> |