RedXeol

/

bertin-gpt-j-6B-alpaca-4bit-128g

like 4

Alguna posibilidad de que puedas subir el modelo usando Transformers, que ya ha implementado GPTQ?

De esa manera se puede hacer fine tune. Yo intenté hacer finetune con AutoGPTQ pero tira error:

    result = F.linear(x, transpose(self.weight, self.fan_in_fan_out), bias=self.bias)
RuntimeError: self and mat2 must have the same dtype