请问可以转化成 ONNX 加速推理吗?

#2
by Visitor897 - opened

没有这方面的经验,想知道需要了解哪些知识

DMetaSoul org

当然可以,我们之前写过导出onnx的代码,如果有需要,我们可以整理下放出来。

另外要加速推理的话,onnx本身带来的性能提升相对有限,这个我们之前也对比测试过。对性能加速带来更大提升的方式,一般通过模型蒸馏,不过这种就要训练模型了。

有需要的,能快一点是一点嘛,至于训练模型,咱是没有这个条件了...另外想夸一下,这是我用过的综合效果最好的模型,感谢你们的杰出工作!

DMetaSoul org

感谢关注到我们的工作哈,之前我们开源的ONNX导出和推理代码在这里,跟我们自研机器学习框架结合,略复杂些,可以先看一下,最近我们会放一个简单版本出来。

optimum-cli export onnx --model ./Dmeta-embedding-zh-small --task sentence-similarity dmeta-embedding-zh-small-onnx

Sign up or log in to comment