使用vLLM的时候，会报错：CUDA out of memory
#3
by
zhaoyang0618
- opened
我的设备是6张显卡，每张卡显存22G，可是执行下面语句的时候报错：
python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen2-57B-A14B-Instruct --dtype half
报错：cuda out of memory
会是什么原因？加上“ --tensor-parallel-size 4”之后，虽然没有报错：out of memory，可是报了其他错误：
cuda call failed lazily at initialization with error: device >=0 && device < num_gpus INTERNAL ASSERT FAILED at "../aten/src/ATen/cuda/CUDAContext.cpp": 50,
加一下--max-model-len参数，不然会自动拉满爆显存