triton model configuration needed

#55
by wangruiai2023 - opened

已经将仓库转化为了 pt 模型文件,使用 triton 部署的话需要 config.pbtxt 。但是我不了解如何确定 input 参数以及使用推荐使用何种 backend?
我通过 tokenizer 确定了 ouput

wangruiai2023 changed discussion status to closed
Your need to confirm your account before you can post a new comment.

Sign up or log in to comment