Error en la carga
Buenas! Estoy intenando cargar tu modelo y me encuentro con el siguiente problema :
OSError: ecastera/eva-dolphin-llama3-8b-spanish does not appear to have a file named pytorch_model.bin, model.safetensors, tf_model.h5, model.ckpt or flax_model.msgpack.
¿sabes por donde pueden ir los tiros?
Muchas gracias :)
Prueba a cargarlo de esta manera:
MODEL="ecastera/eva-dolphin-llama3-8b-spanish"
quantization_config = BitsAndBytesConfig(
load_in_4bit=True,
llm_int8_threshold=6.0,
llm_int8_has_fp16_weight=False,
bnb_4bit_compute_dtype="float16",
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type="nf4")
model = AutoModelForCausalLM.from_pretrained(
MODEL,
low_cpu_mem_usage=True,
torch_dtype=torch.float16,
quantization_config=quantization_config,
offload_state_dict=True,
offload_folder="./offload",
trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(MODEL)
print(f"Loading complete {model} {tokenizer}")
prompt = "Soy Eva una inteligencia artificial y pienso que preferiria ser "
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, do_sample=True, temperature=0.4, top_p=1.0, top_k=50,
no_repeat_ngram_size=3, max_new_tokens=100, pad_token_id=tokenizer.eos_token_id)
text_out = tokenizer.batch_decode(outputs, skip_special_tokens=True)
print(text_out)
Muchisimas gracias!!!!
Una consulta, si no es mucha molestia, ¿podrias indicarme que parametrizacion has usado con Qlora para el afinamiento de llama3 8b? Porque sinceramente, no dejo de encontrarme con bloqueos, uno tras otro, gracias de nuevo!
Si, en el fichero adapter_config.json tienes todos los parametros de Lora que he usado para fine-tuning por si lo quieres replicar.
Gracias! Muy amable!