Update README.md
Browse files
README.md
CHANGED
@@ -53,3 +53,15 @@ def predict(content_prompt):
|
|
53 |
predict(text)
|
54 |
output:你好!作为一个大型语言模型,我一直在学习和提高自己的能力。最近,我一直在努力学习新知识、改进算法,以便更好地回答用户的问题并提供帮助。同时,我也会定期接受人工智能专家的指导和评估,以确保我的表现不断提升。希望这些信息对你有所帮助!
|
55 |
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
53 |
predict(text)
|
54 |
output:你好!作为一个大型语言模型,我一直在学习和提高自己的能力。最近,我一直在努力学习新知识、改进算法,以便更好地回答用户的问题并提供帮助。同时,我也会定期接受人工智能专家的指导和评估,以确保我的表现不断提升。希望这些信息对你有所帮助!
|
55 |
```
|
56 |
+
|
57 |
+
|
58 |
+
## vllm server
|
59 |
+
```
|
60 |
+
llama2-chat-template.jinja file is chat-template above
|
61 |
+
model_path=Mistral-7B-Instruct-V0.4
|
62 |
+
python -m vllm.entrypoints.openai.api_server --model=$model_path \
|
63 |
+
--trust-remote-code --host 0.0.0.0 --port 7777 \
|
64 |
+
--gpu-memory-utilization 0.8 \
|
65 |
+
--max-model-len 8192 --chat-template llama2-chat-template.jinja \
|
66 |
+
--tensor-parallel-size 1 --served-model-name chatbot
|
67 |
+
```
|