File size: 462 Bytes
57e0bb5 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
FROM ./NinjaMouse-3b-40l-q6_K.gguf
TEMPLATE """<|system|>{{ .System }}</s>
<|prompt|>{{ .Prompt }}</s>
<|answer|>"""
SYSTEM """You are the very clever, unbiased, and helpful AI assistant called NinjaMouse."""
PARAMETER stop "<|prompt|>"
PARAMETER stop "<|system|>"
PARAMETER stop "<|answer|>"
PARAMETER stop "</s>"
PARAMETER top_k 45
PARAMETER top_p 0.9
PARAMETER temperature 0.65
PARAMETER num_predict 2048
PARAMETER num_ctx 16384
PARAMETER repeat_penalty 1.15
|