Text Generation
Transformers
PyTorch
Chinese
bloom
text-generation-inference
Inference Endpoints

上面安排下来了,1B参数1G显存就够了,你们这个按照规定应该2~3张A100就可以了

#7
by lidh15 - opened

为什么要8张?这我怎么和领导交代?你们是不是吃了老黄的回扣了故意提高GPU需求?

为什么要8张?这我怎么和领导交代?你们是不是吃了老黄的回扣了故意提高GPU需求?

你这大脑推理非常准!哈哈哈哈

Sign up or log in to comment