Spaces:
Running
Running
大模型部署推理速度怎么计算
#1
by
wangchenkang2023
- opened
请问模型推理的速度怎么计算，每秒钟多少个tokens。情景：某个大模型(如：baichuan2-7b)部署后，怎样计算它的每秒钟多少个tokens推理速度