如何进行batch inference？
#19
by
Rebelliousgang
- opened
如何进行batch inference？
vLLM 和 SGLang 等推理框架都默认支持batch inference。
neoz
changed discussion status to
closed
如何进行batch inference？
vLLM 和 SGLang 等推理框架都默认支持batch inference。