Update README.md
Browse files
README.md
CHANGED
|
@@ -53,3 +53,15 @@ def predict(content_prompt):
|
|
| 53 |
predict(text)
|
| 54 |
output：你好！作为一个大型语言模型，我一直在学习和提高自己的能力。最近，我一直在努力学习新知识、改进算法，以便更好地回答用户的问题并提供帮助。同时，我也会定期接受人工智能专家的指导和评估，以确保我的表现不断提升。希望这些信息对你有所帮助！
|
| 55 |
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 53 |
predict(text)
|
| 54 |
output：你好！作为一个大型语言模型，我一直在学习和提高自己的能力。最近，我一直在努力学习新知识、改进算法，以便更好地回答用户的问题并提供帮助。同时，我也会定期接受人工智能专家的指导和评估，以确保我的表现不断提升。希望这些信息对你有所帮助！
|
| 55 |
```
|
| 56 |
+
|
| 57 |
+
|
| 58 |
+
## vllm server
|
| 59 |
+
```
|
| 60 |
+
llama2-chat-template.jinja file is chat-template above
|
| 61 |
+
model_path=Mistral-7B-Instruct-V0.4
|
| 62 |
+
python -m vllm.entrypoints.openai.api_server --model=$model_path \
|
| 63 |
+
--trust-remote-code --host 0.0.0.0 --port 7777 \
|
| 64 |
+
--gpu-memory-utilization 0.8 \
|
| 65 |
+
--max-model-len 8192 --chat-template llama2-chat-template.jinja \
|
| 66 |
+
--tensor-parallel-size 1 --served-model-name chatbot
|
| 67 |
+
```
|