second-state
/

Yi-1.5-6B-Chat-GGUF

Text Generation

text-generation-inference

Model card Files Files and versions Community

apepkuss79 commited on Jun 12

Commit

f0ac2f4

•

1 Parent(s): e5660f7

Update README.md

Files changed (1) hide show

README.md +2 -0

README.md CHANGED Viewed

@@ -53,6 +53,7 @@ quantized_by: Second State Inc.
   wasmedge --dir .:. --nn-preload default:GGML:AUTO:Yi-1.5-6B-Chat-Q5_K_M.gguf \
     llama-api-server.wasm \
     --prompt-template chatml \
     --ctx-size 4096 \
     --model-name Yi-1.5-6B-Chat
   ```
@@ -63,6 +64,7 @@ quantized_by: Second State Inc.
   wasmedge --dir .:. --nn-preload default:GGML:AUTO:Yi-1.5-6B-Chat-Q5_K_M.gguf \
     llama-chat.wasm \
     --prompt-template chatml \
     --ctx-size 4096
   ```

   wasmedge --dir .:. --nn-preload default:GGML:AUTO:Yi-1.5-6B-Chat-Q5_K_M.gguf \
     llama-api-server.wasm \
     --prompt-template chatml \
+    --reverse-prompt "<|im_end|>" \
     --ctx-size 4096 \
     --model-name Yi-1.5-6B-Chat
   ```
   wasmedge --dir .:. --nn-preload default:GGML:AUTO:Yi-1.5-6B-Chat-Q5_K_M.gguf \
     llama-chat.wasm \
     --prompt-template chatml \
+    --reverse-prompt "<|im_end|>" \
     --ctx-size 4096
   ```