{ | |
"per_channel": true, | |
"reduce_range": true, | |
"per_model_config": { | |
"encoder_model": { | |
"op_types": [ | |
"Div", | |
"Sub", | |
"Reshape", | |
"Pow", | |
"Unsqueeze", | |
"Gather", | |
"Constant", | |
"Add", | |
"Softmax", | |
"MatMul", | |
"Shape", | |
"Transpose", | |
"Where", | |
"Mul", | |
"Slice", | |
"Tanh", | |
"Equal", | |
"Cast", | |
"Sqrt", | |
"ConstantOfShape", | |
"Concat", | |
"Max", | |
"ReduceMean" | |
], | |
"weight_type": "QInt8" | |
}, | |
"decoder_model": { | |
"op_types": [ | |
"Range", | |
"Div", | |
"Sub", | |
"Reshape", | |
"Less", | |
"Pow", | |
"Unsqueeze", | |
"Gather", | |
"Constant", | |
"Log", | |
"Add", | |
"Tile", | |
"Softmax", | |
"Expand", | |
"MatMul", | |
"Shape", | |
"Transpose", | |
"Min", | |
"LessOrEqual", | |
"Where", | |
"Mul", | |
"Tanh", | |
"Neg", | |
"Cast", | |
"Sqrt", | |
"ConstantOfShape", | |
"Concat", | |
"ReduceMean" | |
], | |
"weight_type": "QInt8" | |
}, | |
"decoder_with_past_model": { | |
"op_types": [ | |
"Range", | |
"Div", | |
"Sub", | |
"Reshape", | |
"Less", | |
"Pow", | |
"Unsqueeze", | |
"Gather", | |
"Constant", | |
"Log", | |
"Add", | |
"Tile", | |
"Softmax", | |
"Expand", | |
"MatMul", | |
"Shape", | |
"Transpose", | |
"Min", | |
"LessOrEqual", | |
"Where", | |
"Mul", | |
"Slice", | |
"Tanh", | |
"Neg", | |
"Cast", | |
"Sqrt", | |
"ConstantOfShape", | |
"Concat", | |
"ReduceMean" | |
], | |
"weight_type": "QInt8" | |
}, | |
"decoder_model_merged": { | |
"op_types": [ | |
"Range", | |
"Div", | |
"Sub", | |
"Reshape", | |
"Less", | |
"Pow", | |
"If", | |
"Unsqueeze", | |
"Gather", | |
"Constant", | |
"Log", | |
"Add", | |
"Tile", | |
"Softmax", | |
"Expand", | |
"MatMul", | |
"Shape", | |
"Transpose", | |
"Min", | |
"LessOrEqual", | |
"Where", | |
"Mul", | |
"Slice", | |
"Tanh", | |
"Neg", | |
"Cast", | |
"Sqrt", | |
"ConstantOfShape", | |
"Concat", | |
"ReduceMean" | |
], | |
"weight_type": "QInt8" | |
} | |
} | |
} |