{ | |
"per_channel": false, | |
"reduce_range": false, | |
"per_model_config": { | |
"decoder_model": { | |
"op_types": [ | |
"Sqrt", | |
"Mul", | |
"Equal", | |
"Squeeze", | |
"And", | |
"Gather", | |
"Slice", | |
"Sub", | |
"Split", | |
"ReduceMean", | |
"Concat", | |
"Transpose", | |
"Shape", | |
"CumSum", | |
"Constant", | |
"Div", | |
"Cast", | |
"Reshape", | |
"Where", | |
"Tanh", | |
"Softmax", | |
"MatMul", | |
"ConstantOfShape", | |
"Add", | |
"Unsqueeze", | |
"Pow" | |
], | |
"weight_type": "QInt8" | |
}, | |
"decoder_model_merged": { | |
"op_types": [ | |
"Sqrt", | |
"Mul", | |
"Equal", | |
"Squeeze", | |
"And", | |
"If", | |
"Gather", | |
"Slice", | |
"Sub", | |
"Split", | |
"ReduceMean", | |
"Concat", | |
"Transpose", | |
"Shape", | |
"CumSum", | |
"Constant", | |
"Div", | |
"Cast", | |
"Reshape", | |
"Where", | |
"Tanh", | |
"Softmax", | |
"MatMul", | |
"ConstantOfShape", | |
"Add", | |
"Unsqueeze", | |
"Pow" | |
], | |
"weight_type": "QInt8" | |
}, | |
"decoder_with_past_model": { | |
"op_types": [ | |
"Sqrt", | |
"Mul", | |
"Squeeze", | |
"Equal", | |
"And", | |
"Gather", | |
"Slice", | |
"Sub", | |
"Split", | |
"ReduceMean", | |
"Concat", | |
"Transpose", | |
"Shape", | |
"CumSum", | |
"Constant", | |
"Div", | |
"Cast", | |
"Reshape", | |
"Where", | |
"Tanh", | |
"Softmax", | |
"MatMul", | |
"ConstantOfShape", | |
"Add", | |
"Unsqueeze", | |
"Pow" | |
], | |
"weight_type": "QInt8" | |
} | |
} | |
} |