ImportError
#2
by
metek7
- opened
Using bitsandbytes 8-bit quantization requires Accelerate: pip install accelerate and the latest version of bitsandbytes: pip install -i https://pypi.org/simple/ bitsandbytes hatası alıyorum Kaggleda ve Colabda. accelerate ve bitsandbyte paketlerini kurduğumda da aynı hatayı alıyorum
8-bit sorun cikariyorsa load_in_8bit=True yerine torch_dtype=torch.bfloat16 yazip bir deneyebilirsin.
@mett7
Kurduktan sonra runtime yeniden başlat
Restarting kernel diye de geçiyor
Daha sonra doğrudan llm kodlarını çalıştır
İstersen GitHub yükleyebilirim
yusufcakmak
changed discussion status to
closed