请问在CPU上推理有什么加速方案呢
#23
by
Ark0810
- opened
目前，8核32G的配置，单条速度约400ms左右，我是转onnx模型后，使用go-onnxruntime库加载的模型
Ark0810
changed discussion title from
在CPU上推理有什么加速方案
to 请问在CPU上推理有什么加速方案呢
我能想到比较简单的实现也是 ONNX ，其他的方法只学习过，没有实践过。