Transformers ya implement贸 AutoGPTQ

by webpolis - opened

Alguna posibilidad de que puedas subir el modelo usando Transformers, que ya ha implementado GPTQ?

De esa manera se puede hacer fine tune. Yo intent茅 hacer finetune con AutoGPTQ pero tira error:

    result = F.linear(x, transpose(self.weight, self.fan_in_fan_out), bias=self.bias)
RuntimeError: self and mat2 must have the same dtype

Sign up or log in to comment