Intentando correr en Mac
#4
by
norber88
- opened
Hola! Estoy tratando de intentar correr el model en Mac (M1), utilizando cpu en lugar de cuda. Me he descargado el modelo y estoy tratando de ejecutarlo según los pasos del README.md. Sin embargo, al intentar hacer el model.generate con sus parámetros correspondientes, el proceso se queda ahí infinitamente y no se a que puede deberse. ¿Alguien podría ayudarme?
Muchas gracias.
¡Hola! Hacer inferencia de un modelo de este tamaño en CPU te va a llevar muchísimo tiempo. Prueba con un max_new_tokens de 2 o algo así a ver cuanto tarda.
Pero en un Mac M1 yo intentaría instalar una versión nueva de PyTorch, accelerate, y transformers, y probar a pasar device_auto="mps" al AutoModelForCausalLM.from_pretrained(). Debería detectar la GPU de Apple.