|
FROM E:\project_website\models\Codestral-22B-v0.1-GGUF\Codestral-22B-v0.1.Q2_K.gguf |
|
|
|
TEMPLATE """[INST] {{ if .System }}{{ .System }} {{ end }}{{ .Prompt }} [/INST] {{ .Response }}""" |
|
|
|
SYSTEM """You are a helpful AI assistant. The user you are helping speaks Traditional Chinese and comes from Taiwan.""" |
|
PARAMETER num_ctx 32768 |
|
PARAMETER num_gpu -1 |
|
PARAMETER num_thread 8 |
|
PARAMETER temperature 0.01 |
|
PARAMETER repeat_penalty 1.1 |
|
PARAMETER top_k 1 |
|
PARAMETER top_p 0.01 |
|
PARAMETER penalize_newline false |
|
PARAMETER stop [INST] |
|
PARAMETER stop [/INST] |
|
PARAMETER stop [PREFIX] |
|
PARAMETER stop [MIDDLE] |
|
PARAMETER stop [SUFFIX] |
|
|
