FROM ./phi-3-medium-4k-instruct-q4_k_m.gguf | |
TEMPLATE """<s>{{ if .Prompt }}<|user|> | |
{{ .Prompt }}<|end|> | |
{{ end }}<|assistant|> | |
{{ .Response }}<|end|>""" | |
PARAMETER stop <|endoftext|> | |
PARAMETER stop <|assistant|> | |
PARAMETER stop <|end|> | |
PARAMETER num_ctx 4096 |