second-state
/

Yi-1.5-34B-Chat-GGUF

Text Generation

text-generation-inference

Model card Files Files and versions Community

apepkuss79 commited on 22 days ago

Commit

7c4e785

•

1 Parent(s): 75eb5e8

Update README.md

Files changed (1) hide show

README.md +2 -0

README.md CHANGED Viewed

@@ -53,6 +53,7 @@ quantized_by: Second State Inc.
   wasmedge --dir .:. --nn-preload default:GGML:AUTO:Yi-1.5-34B-Chat-Q5_K_M.gguf \
     llama-api-server.wasm \
     --prompt-template chatml \
     --ctx-size 7168 \
     --model-name Yi-1.5-34B-Chat
   ```
@@ -63,6 +64,7 @@ quantized_by: Second State Inc.
   wasmedge --dir .:. --nn-preload default:GGML:AUTO:Yi-1.5-34B-Chat-Q5_K_M.gguf \
     llama-chat.wasm \
     --prompt-template chatml \
     --ctx-size 7168
   ```

   wasmedge --dir .:. --nn-preload default:GGML:AUTO:Yi-1.5-34B-Chat-Q5_K_M.gguf \
     llama-api-server.wasm \
     --prompt-template chatml \
+    --reverse-prompt "<|im_end|>" \
     --ctx-size 7168 \
     --model-name Yi-1.5-34B-Chat
   ```
   wasmedge --dir .:. --nn-preload default:GGML:AUTO:Yi-1.5-34B-Chat-Q5_K_M.gguf \
     llama-chat.wasm \
     --prompt-template chatml \
+    --reverse-prompt "<|im_end|>" \
     --ctx-size 7168
   ```