{ | |
"fp16": {}, | |
"q8": { | |
"per_model_config": { | |
"model": { | |
"op_types": [ | |
"Abs", | |
"Add", | |
"And", | |
"ArgMax", | |
"BatchNormalization", | |
"Cast", | |
"Clip", | |
"Concat", | |
"Conv", | |
"Div", | |
"Equal", | |
"Exp", | |
"Expand", | |
"Gather", | |
"GatherND", | |
"Greater", | |
"Less", | |
"Max", | |
"MaxPool", | |
"Min", | |
"Mul", | |
"Not", | |
"Pow", | |
"Range", | |
"Reciprocal", | |
"ReduceMax", | |
"ReduceSum", | |
"Relu", | |
"Reshape", | |
"Resize", | |
"Shape", | |
"Sigmoid", | |
"Size", | |
"Slice", | |
"Split", | |
"Squeeze", | |
"Sub", | |
"Tile", | |
"TopK", | |
"Transpose", | |
"Unsqueeze" | |
], | |
"weight_type": "QUInt8" | |
} | |
}, | |
"per_channel": false, | |
"reduce_range": false | |
}, | |
"int8": { | |
"per_model_config": { | |
"model": { | |
"op_types": [ | |
"Abs", | |
"Add", | |
"And", | |
"ArgMax", | |
"BatchNormalization", | |
"Cast", | |
"Clip", | |
"Concat", | |
"Conv", | |
"Div", | |
"Equal", | |
"Exp", | |
"Expand", | |
"Gather", | |
"GatherND", | |
"Greater", | |
"Less", | |
"Max", | |
"MaxPool", | |
"Min", | |
"Mul", | |
"Not", | |
"Pow", | |
"Range", | |
"Reciprocal", | |
"ReduceMax", | |
"ReduceSum", | |
"Relu", | |
"Reshape", | |
"Resize", | |
"Shape", | |
"Sigmoid", | |
"Size", | |
"Slice", | |
"Split", | |
"Squeeze", | |
"Sub", | |
"Tile", | |
"TopK", | |
"Transpose", | |
"Unsqueeze" | |
], | |
"weight_type": "QInt8" | |
} | |
}, | |
"per_channel": false, | |
"reduce_range": false | |
}, | |
"uint8": { | |
"per_model_config": { | |
"model": { | |
"op_types": [ | |
"Abs", | |
"Add", | |
"And", | |
"ArgMax", | |
"BatchNormalization", | |
"Cast", | |
"Clip", | |
"Concat", | |
"Conv", | |
"Div", | |
"Equal", | |
"Exp", | |
"Expand", | |
"Gather", | |
"GatherND", | |
"Greater", | |
"Less", | |
"Max", | |
"MaxPool", | |
"Min", | |
"Mul", | |
"Not", | |
"Pow", | |
"Range", | |
"Reciprocal", | |
"ReduceMax", | |
"ReduceSum", | |
"Relu", | |
"Reshape", | |
"Resize", | |
"Shape", | |
"Sigmoid", | |
"Size", | |
"Slice", | |
"Split", | |
"Squeeze", | |
"Sub", | |
"Tile", | |
"TopK", | |
"Transpose", | |
"Unsqueeze" | |
], | |
"weight_type": "QUInt8" | |
} | |
}, | |
"per_channel": false, | |
"reduce_range": false | |
}, | |
"q4": { | |
"block_size": 32, | |
"is_symmetric": true, | |
"accuracy_level": null | |
}, | |
"bnb4": { | |
"block_size": 64, | |
"quant_type": 1 | |
} | |
} |