apepkuss79
commited on
Commit
•
6a7fab9
1
Parent(s):
2f7cca8
Update README.md
Browse files
README.md
CHANGED
@@ -55,7 +55,7 @@ tags:
|
|
55 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:CodeQwen1.5-7B-Chat-Q5_K_M.gguf \
|
56 |
llama-api-server.wasm \
|
57 |
--prompt-template chatml
|
58 |
-
--context-size
|
59 |
--model-name CodeQwen1.5-7B-Chat
|
60 |
```
|
61 |
|
@@ -65,7 +65,7 @@ tags:
|
|
65 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:CodeQwen1.5-7B-Chat-Q5_K_M.gguf \
|
66 |
llama-chat.wasm \
|
67 |
--prompt-template chatml \
|
68 |
-
--ctx-size
|
69 |
```
|
70 |
|
71 |
## Quantized GGUF Models
|
|
|
55 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:CodeQwen1.5-7B-Chat-Q5_K_M.gguf \
|
56 |
llama-api-server.wasm \
|
57 |
--prompt-template chatml
|
58 |
+
--context-size 64000
|
59 |
--model-name CodeQwen1.5-7B-Chat
|
60 |
```
|
61 |
|
|
|
65 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:CodeQwen1.5-7B-Chat-Q5_K_M.gguf \
|
66 |
llama-chat.wasm \
|
67 |
--prompt-template chatml \
|
68 |
+
--ctx-size 64000
|
69 |
```
|
70 |
|
71 |
## Quantized GGUF Models
|