quant_config.json

{
  "bits": 4,
  "group_size": 128,
  "zero_point": true,
  "auto_scale": true,
  "mse_range": true,
  "quant_type": "AWQ"
}