pppppM commited on
Commit
7bb6d1a
1 Parent(s): 03b147c

Create OLLAMA_MODELFILE_INT4

Browse files
Files changed (1) hide show
  1. OLLAMA_MODELFILE_INT4 +17 -0
OLLAMA_MODELFILE_INT4 ADDED
@@ -0,0 +1,17 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ FROM ./ggml-model-int4.gguf
2
+ FROM ./mmproj-model-f16.gguf
3
+ TEMPLATE """{{ if .System }}<|system|>
4
+ {{ .System }}<|end|>
5
+ {{ end }}{{ if .Prompt }}<|user|>
6
+ {{ .Prompt }}<|end|>
7
+ {{ end }}<|assistant|>
8
+ {{ .Response }}<|end|>
9
+ """
10
+ PARAMETER stop "<|user|>"
11
+ PARAMETER stop "<|assistant|>"
12
+ PARAMETER stop "<|system|>"
13
+ PARAMETER stop "<|end|>"
14
+ PARAMETER stop "<|endoftext|>"
15
+
16
+ PARAMETER num_keep 4
17
+ PARAMETER num_ctx 4096