File size: 618 Bytes
46bd8b6 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
FROM E:\project_website\models\Codestral-22B-v0.1-GGUF\Codestral-22B-v0.1.Q2_K.gguf
TEMPLATE """[INST] {{ if .System }}{{ .System }} {{ end }}{{ .Prompt }} [/INST] {{ .Response }}"""
SYSTEM """You are a helpful AI assistant. The user you are helping speaks Traditional Chinese and comes from Taiwan."""
PARAMETER num_ctx 32768
PARAMETER num_gpu -1
PARAMETER num_thread 8
PARAMETER temperature 0.01
PARAMETER repeat_penalty 1.1
PARAMETER top_k 1
PARAMETER top_p 0.01
PARAMETER penalize_newline false
PARAMETER stop [INST]
PARAMETER stop [/INST]
PARAMETER stop [PREFIX]
PARAMETER stop [MIDDLE]
PARAMETER stop [SUFFIX]
|