Chạy trên nhiều GPU cùng 1 lúc để cải thiện hiệu năng
#1
by
sieudd
- opened
Hiện tại em đang cho chạy trên máy có 2 GPU P40 24G, nhưng khi run model đang thấy chỉ sử dụng 1 GPU nên response trả về đang bị lâu ( 40s). Có cách nào để tối ưu không ạ
Bạn có thể sử dụng một trong các GGUF của chúng tôi để chạy trên CPU rất nhanh: https://huggingface.co/arcee-ai/Arcee-VyLinh-GGUF. Với GGUF, bạn cũng có thể sử dụng công cụ như https://lmstudio.ai/ để chạy model.
Hoặc bạn có thể load model bằng một công cụ như https://github.com/vllm-project/vllm với lệnh sau:
python -m vllm.entrypoints.openai.api_server \
--model arcee-ai/Arcee-VyLinh \
--tensor-parallel-size 2 \
--host 0.0.0.0 \
--port 8000 \
--dtype auto \
--gpu-memory-utilization 0.90
Sau đó, bạn có thể truy cập thông qua công cụ như https://github.com/open-webui/open-webui
Hoặc chạy với một công cụ khác như https://github.com/oobabooga/text-generation-webui.