大佬,啥时出1.5的版本,最好是量化的
#1
by BigGrayBear - opened
谢谢
明天传bf16的模型,大概比当前小一倍,删掉了onnx的适配,后续会尝试int8量化
已经更新xxzigou/hunyuan_ocr_ncnn_fp16和xxzigou/hunyuan_ocr_ncnn_int8,int8采用混合量化,详见readme
大佬,你这是1.0版本的,还是1.5版本的
这个是1.0版本的量化,1.5的模型有少许更改,目前正在适配并优化
谢谢
明天传bf16的模型,大概比当前小一倍,删掉了onnx的适配,后续会尝试int8量化
已经更新xxzigou/hunyuan_ocr_ncnn_fp16和xxzigou/hunyuan_ocr_ncnn_int8,int8采用混合量化,详见readme
大佬,你这是1.0版本的,还是1.5版本的
这个是1.0版本的量化,1.5的模型有少许更改,目前正在适配并优化