*zsh: killed* on macbookpro M2 with 24GB
#14
by
aleksandrvin
- opened
I am considering myself a newb, but it feels like I'm lacking memory. Can I run it on 24GB system or I need to go to a server with more RAM?
...
model-00006-of-00015.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.93G/4.93G [02:48<00:00, 29.3MB/s]
model-00007-of-00015.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.93G/4.93G [02:38<00:00, 31.1MB/s]
model-00008-of-00015.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.93G/4.93G [02:35<00:00, 31.8MB/s]
model-00009-of-00015.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.93G/4.93G [02:40<00:00, 30.7MB/s]
model-00010-of-00015.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.93G/4.93G [02:48<00:00, 29.3MB/s]
model-00011-of-00015.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.93G/4.93G [03:18<00:00, 24.8MB/s]
model-00012-of-00015.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.93G/4.93G [03:37<00:00, 22.7MB/s]
model-00013-of-00015.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.93G/4.93G [03:22<00:00, 24.3MB/s]
model-00014-of-00015.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.93G/4.93G [02:24<00:00, 34.2MB/s]
model-00015-of-00015.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.11G/1.11G [00:28<00:00, 38.5MB/s]
Downloading shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [37:37<00:00, 150.50s/it]
Loading checkpoint shards: 33%|███████████████████████████████████████████████████████████▋ | 5/15 [02:32<05:36, 33.69s/it]zsh: killed python3 commandR.py
/Library/Frameworks/Python.framework/Versions/3.12/lib/python3.12/multiprocessing/resource_tracker.py:254: UserWarning: resource_tracker: There appear to be 1 leaked semaphore objects to clean up at shutdown
warnings.warn('resource_tracker: There appear to be %d '
The FP16 model requires ~70GB of memory. There is going to be a quantized model soon that should be ~18GB.
@saurabhdash Awesome! Will this be supporting NVIDIA/GPU inference, in GPTQ or AWQ formats?
I see no reason why it would not. Should be achievable, with slight code updates (to AWQ / GPTQ i mean).
@Blevlabs Yes, should work right out of the box like other models.
The FP16 model requires ~70GB of memory. There is going to be a quantized model soon that should be ~18GB.
What quantizations are you planning to release? 6bit or 8bit would probably be optimal for my purposes.