juntaoyuan commited on
Commit
74cf9e2
1 Parent(s): f5a2c14

Update context size

Browse files
Files changed (1) hide show
  1. README.md +3 -3
README.md CHANGED
@@ -50,7 +50,7 @@ tags:
50
  {{ user_message_2 }}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
51
  ```
52
 
53
- - Context size: `4096`
54
 
55
  - Run as LlamaEdge service
56
 
@@ -58,7 +58,7 @@ tags:
58
  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Llama-3-8B-Instruct-262k-Q5_K_M.gguf \
59
  llama-api-server.wasm \
60
  --prompt-template llama-3-chat \
61
- --ctx-size 4096 \
62
  --model-name llama-3-8B-instruct-262k
63
  ```
64
 
@@ -68,7 +68,7 @@ tags:
68
  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Llama-3-8B-Instruct-262k-Q5_K_M.gguf \
69
  llama-chat.wasm \
70
  --prompt-template llama-3-chat \
71
- --ctx-size 4096
72
  ```
73
 
74
  ## Quantized GGUF Models
 
50
  {{ user_message_2 }}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
51
  ```
52
 
53
+ - Context size: `262144`
54
 
55
  - Run as LlamaEdge service
56
 
 
58
  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Llama-3-8B-Instruct-262k-Q5_K_M.gguf \
59
  llama-api-server.wasm \
60
  --prompt-template llama-3-chat \
61
+ --ctx-size 262144 \
62
  --model-name llama-3-8B-instruct-262k
63
  ```
64
 
 
68
  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Llama-3-8B-Instruct-262k-Q5_K_M.gguf \
69
  llama-chat.wasm \
70
  --prompt-template llama-3-chat \
71
+ --ctx-size 262144
72
  ```
73
 
74
  ## Quantized GGUF Models