Edit model card

4Bit AWQ量化，未测试，不建议使用。

采用未安装flash_attn的环境进行量化

Intel-XPU测试用，该量化模型可能不适合所有人。

Safetensors

Model size

2.69B params

Tensor type

I32

BF16

FP16

Inference Examples

Inference API (serverless) does not yet support model repos that contain custom code.