diff --git "a/logs.txt" "b/logs.txt"
new file mode 100644--- /dev/null
+++ "b/logs.txt"
@@ -0,0 +1,401 @@
+/home/cfruan/.conda/envs/mlc-source-311/bin/python -m mlc_llm gen_config /models/Meta-Llama-3-8B-Instruct --quantization q4f16_1 --conv-template llama-3 --output /tmp/tmpynj6558k --context-window-size 8192 --prefill-chunk-size 1024
+[2024-04-18 15:36:01] INFO auto_config.py:115: Found model configuration: /models/Meta-Llama-3-8B-Instruct/config.json
+[2024-04-18 15:36:01] INFO auto_config.py:153: Found model type: llama. Use `--model-type` to override.
+[2024-04-18 15:36:01] INFO llama_model.py:52: context_window_size not found in config.json. Falling back to max_position_embeddings (8192)
+[2024-04-18 15:36:01] INFO llama_model.py:72: prefill_chunk_size defaults to context_window_size (8192)
+[2024-04-18 15:36:01] INFO config.py:106: Overriding context_window_size from 8192 to 8192
+[2024-04-18 15:36:01] INFO config.py:106: Overriding prefill_chunk_size from 8192 to 1024
+[2024-04-18 15:36:01] INFO config.py:106: Overriding max_batch_size from 1 to 80
+[2024-04-18 15:36:01] INFO gen_config.py:187: [generation_config.json] Setting bos_token_id: 128000
+[2024-04-18 15:36:01] INFO gen_config.py:187: [generation_config.json] Setting eos_token_id: 128001
+[2024-04-18 15:36:01] INFO gen_config.py:201: Not found tokenizer config: /models/Meta-Llama-3-8B-Instruct/tokenizer.model
+[2024-04-18 15:36:01] INFO gen_config.py:199: Found tokenizer config: /models/Meta-Llama-3-8B-Instruct/tokenizer.json. Copying to /tmp/tmpynj6558k/tokenizer.json
+[2024-04-18 15:36:01] INFO gen_config.py:201: Not found tokenizer config: /models/Meta-Llama-3-8B-Instruct/vocab.json
+[2024-04-18 15:36:01] INFO gen_config.py:201: Not found tokenizer config: /models/Meta-Llama-3-8B-Instruct/merges.txt
+[2024-04-18 15:36:01] INFO gen_config.py:201: Not found tokenizer config: /models/Meta-Llama-3-8B-Instruct/added_tokens.json
+[2024-04-18 15:36:01] INFO gen_config.py:199: Found tokenizer config: /models/Meta-Llama-3-8B-Instruct/tokenizer_config.json. Copying to /tmp/tmpynj6558k/tokenizer_config.json
+[2024-04-18 15:36:01] INFO gen_config.py:76: [System default] Setting pad_token_id: 0
+[2024-04-18 15:36:01] INFO gen_config.py:76: [System default] Setting temperature: 0.7
+[2024-04-18 15:36:01] INFO gen_config.py:76: [System default] Setting presence_penalty: 0.0
+[2024-04-18 15:36:01] INFO gen_config.py:76: [System default] Setting frequency_penalty: 0.0
+[2024-04-18 15:36:01] INFO gen_config.py:76: [System default] Setting repetition_penalty: 1.0
+[2024-04-18 15:36:01] INFO gen_config.py:76: [System default] Setting top_p: 0.95
+[2024-04-18 15:36:01] INFO gen_config.py:76: [System default] Setting mean_gen_len: 128
+[2024-04-18 15:36:01] INFO gen_config.py:76: [System default] Setting max_gen_len: 512
+[2024-04-18 15:36:01] INFO gen_config.py:76: [System default] Setting shift_fill_factor: 0.3
+[2024-04-18 15:36:01] INFO gen_config.py:263: Dumping configuration file to: /tmp/tmpynj6558k/mlc-chat-config.json
+/home/cfruan/.conda/envs/mlc-source-311/bin/python -m mlc_llm convert_weight /models/Meta-Llama-3-8B-Instruct --quantization q4f16_1 --source-format auto --output /tmp/tmpynj6558k
+[2024-04-18 15:36:02] INFO auto_config.py:115: Found model configuration: /models/Meta-Llama-3-8B-Instruct/config.json
+[2024-04-18 15:36:03] INFO auto_device.py:76: Found device: cuda:0
+[2024-04-18 15:36:03] INFO auto_device.py:76: Found device: cuda:1
+[2024-04-18 15:36:04] INFO auto_device.py:85: Not found device: rocm:0
+[2024-04-18 15:36:05] INFO auto_device.py:85: Not found device: metal:0
+[2024-04-18 15:36:07] INFO auto_device.py:76: Found device: vulkan:0
+[2024-04-18 15:36:07] INFO auto_device.py:76: Found device: vulkan:1
+[2024-04-18 15:36:07] INFO auto_device.py:76: Found device: vulkan:2
+[2024-04-18 15:36:08] INFO auto_device.py:85: Not found device: opencl:0
+[2024-04-18 15:36:08] INFO auto_device.py:33: Using device: cuda:0
+[2024-04-18 15:36:08] INFO auto_weight.py:70: Finding weights in: /models/Meta-Llama-3-8B-Instruct
+[2024-04-18 15:36:08] INFO auto_weight.py:136: Not found Huggingface PyTorch
+[2024-04-18 15:36:08] INFO auto_weight.py:143: Found source weight format: huggingface-safetensor. Source configuration: /models/Meta-Llama-3-8B-Instruct/model.safetensors.index.json
+[2024-04-18 15:36:08] INFO auto_weight.py:106: Using source weight configuration: /models/Meta-Llama-3-8B-Instruct/model.safetensors.index.json. Use `--source` to override.
+[2024-04-18 15:36:08] INFO auto_weight.py:110: Using source weight format: huggingface-safetensor. Use `--source-format` to override.
+[2024-04-18 15:36:08] INFO auto_config.py:153: Found model type: llama. Use `--model-type` to override.
+[2024-04-18 15:36:08] INFO llama_model.py:52: context_window_size not found in config.json. Falling back to max_position_embeddings (8192)
+[2024-04-18 15:36:08] INFO llama_model.py:72: prefill_chunk_size defaults to context_window_size (8192)
+Weight conversion with arguments:
+  --config          /models/Meta-Llama-3-8B-Instruct/config.json
+  --quantization    GroupQuantize(name='q4f16_1', kind='group-quant', group_size=32, quantize_dtype='int4', storage_dtype='uint32', model_dtype='float16', linear_weight_layout='NK', quantize_embedding=True, quantize_final_fc=True, num_elem_per_storage=8, num_storage_per_group=4, max_int_value=7)
+  --model-type      llama
+  --device          cuda:0
+  --source          /models/Meta-Llama-3-8B-Instruct/model.safetensors.index.json
+  --source-format   huggingface-safetensor
+  --output          /tmp/tmpynj6558k
+Start storing to cache /tmp/tmpynj6558k
+
  0%|                                                                                                                                                                | 0/195 [00:00<?, ?it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:15] INFO huggingface_loader.py:184: Loading HF parameters from: /models/Meta-Llama-3-8B-Instruct/model-00004-of-00004.safetensors
+
  0%|                                                                                                                                                                | 0/195 [00:00<?, ?it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:23] INFO group_quantization.py:217: Compiling quantize function for key: ((128256, 4096), float16, cuda, axis=1, output_transpose=False)
+
  0%|                                                                                                                                                                | 0/195 [00:08<?, ?it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:27] INFO huggingface_loader.py:166: [Quantized] Parameter: "lm_head.q_weight", shape: (128256, 512), dtype: uint32
+
  0%|                                                                                                                                                                | 0/195 [00:12<?, ?it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:28] INFO huggingface_loader.py:166: [Quantized] Parameter: "lm_head.q_scale", shape: (128256, 128), dtype: float16
+
  0%|                                                                                                                                                                | 0/195 [00:12<?, ?it/s]
  1%|▊                                                                                                                                                       | 1/195 [00:12<41:25, 12.81s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:28] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.31.input_layernorm.weight", shape: (4096,), dtype: float16
+
  1%|▊                                                                                                                                                       | 1/195 [00:12<41:25, 12.81s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:28] INFO group_quantization.py:217: Compiling quantize function for key: ((4096, 14336), float16, cuda, axis=1, output_transpose=False)
+
  1%|▊                                                                                                                                                       | 1/195 [00:13<41:25, 12.81s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:29] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.31.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
  1%|▊                                                                                                                                                       | 1/195 [00:13<41:25, 12.81s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:29] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.31.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
  1%|▊                                                                                                                                                       | 1/195 [00:13<41:25, 12.81s/it]
  2%|██▎                                                                                                                                                     | 3/195 [00:13<11:28,  3.58s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:29] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.31.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
  2%|██▎                                                                                                                                                     | 3/195 [00:13<11:28,  3.58s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:29] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.norm.weight", shape: (4096,), dtype: float16
+
  2%|██▎                                                                                                                                                     | 3/195 [00:13<11:28,  3.58s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:29] INFO huggingface_loader.py:196: Unloading HF weight file: /models/Meta-Llama-3-8B-Instruct/model-00004-of-00004.safetensors
+
  2%|██▎                                                                                                                                                     | 3/195 [00:13<11:28,  3.58s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:29] INFO huggingface_loader.py:184: Loading HF parameters from: /models/Meta-Llama-3-8B-Instruct/model-00001-of-00004.safetensors
+
  2%|██▎                                                                                                                                                     | 3/195 [00:13<11:28,  3.58s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:42] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.embed_tokens.q_weight", shape: (128256, 512), dtype: uint32
+
  2%|██▎                                                                                                                                                     | 3/195 [00:26<11:28,  3.58s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:43] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.embed_tokens.q_scale", shape: (128256, 128), dtype: float16
+
  2%|██▎                                                                                                                                                     | 3/195 [00:27<11:28,  3.58s/it]
  3%|████▋                                                                                                                                                   | 6/195 [00:28<13:41,  4.35s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:43] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.0.input_layernorm.weight", shape: (4096,), dtype: float16
+
  3%|████▋                                                                                                                                                   | 6/195 [00:28<13:41,  4.35s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:44] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.0.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
  3%|████▋                                                                                                                                                   | 6/195 [00:28<13:41,  4.35s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:44] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.0.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
  3%|████▋                                                                                                                                                   | 6/195 [00:28<13:41,  4.35s/it]
  4%|██████▏                                                                                                                                                 | 8/195 [00:28<08:47,  2.82s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:45] INFO group_quantization.py:217: Compiling quantize function for key: ((28672, 4096), float16, cuda, axis=1, output_transpose=False)
+
  4%|██████▏                                                                                                                                                 | 8/195 [00:29<08:47,  2.82s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:45] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.0.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
  4%|██████▏                                                                                                                                                 | 8/195 [00:29<08:47,  2.82s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:45] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.0.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
  4%|██████▏                                                                                                                                                 | 8/195 [00:29<08:47,  2.82s/it]
  5%|███████                                                                                                                                                 | 9/195 [00:29<07:55,  2.56s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:45] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.0.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
  5%|███████                                                                                                                                                 | 9/195 [00:29<07:55,  2.56s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:45] INFO group_quantization.py:217: Compiling quantize function for key: ((6144, 4096), float16, cuda, axis=1, output_transpose=False)
+
  5%|███████                                                                                                                                                 | 9/195 [00:30<07:55,  2.56s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:46] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.0.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
  5%|███████                                                                                                                                                 | 9/195 [00:30<07:55,  2.56s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:46] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.0.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
  5%|███████                                                                                                                                                 | 9/195 [00:30<07:55,  2.56s/it]
  6%|████████▌                                                                                                                                              | 11/195 [00:30<05:19,  1.74s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:46] INFO group_quantization.py:217: Compiling quantize function for key: ((4096, 4096), float16, cuda, axis=1, output_transpose=False)
+
  6%|████████▌                                                                                                                                              | 11/195 [00:30<05:19,  1.74s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:46] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.0.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
  6%|████████▌                                                                                                                                              | 11/195 [00:31<05:19,  1.74s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:46] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.0.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
  6%|████████▌                                                                                                                                              | 11/195 [00:31<05:19,  1.74s/it]
  6%|█████████▎                                                                                                                                             | 12/195 [00:31<04:31,  1.49s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:46] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.1.input_layernorm.weight", shape: (4096,), dtype: float16
+
  6%|█████████▎                                                                                                                                             | 12/195 [00:31<04:31,  1.49s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:47] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.1.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
  6%|█████████▎                                                                                                                                             | 12/195 [00:31<04:31,  1.49s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:47] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.1.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
  6%|█████████▎                                                                                                                                             | 12/195 [00:31<04:31,  1.49s/it]
  7%|██████████▊                                                                                                                                            | 14/195 [00:31<02:59,  1.01it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.1.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
  7%|██████████▊                                                                                                                                            | 14/195 [00:32<02:59,  1.01it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.1.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
  7%|██████████▊                                                                                                                                            | 14/195 [00:32<02:59,  1.01it/s]
  8%|███████████▌                                                                                                                                           | 15/195 [00:32<03:07,  1.04s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:48] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.1.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
  8%|███████████▌                                                                                                                                           | 15/195 [00:32<03:07,  1.04s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.1.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
  8%|███████████▌                                                                                                                                           | 15/195 [00:33<03:07,  1.04s/it]
                                                                                                                                                                                             
[2024-04-18 15:36:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.1.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
  8%|███████████▌                                                                                                                                           | 15/195 [00:33<03:07,  1.04s/it]
  9%|█████████████▏                                                                                                                                         | 17/195 [00:33<02:07,  1.40it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.1.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
  9%|█████████████▏                                                                                                                                         | 17/195 [00:33<02:07,  1.40it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.1.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
  9%|█████████████▏                                                                                                                                         | 17/195 [00:33<02:07,  1.40it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:48] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.2.input_layernorm.weight", shape: (4096,), dtype: float16
+
  9%|█████████████▏                                                                                                                                         | 17/195 [00:33<02:07,  1.40it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:49] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.2.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
  9%|█████████████▏                                                                                                                                         | 17/195 [00:33<02:07,  1.40it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:49] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.2.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
  9%|█████████████▏                                                                                                                                         | 17/195 [00:33<02:07,  1.40it/s]
 10%|███████████████▍                                                                                                                                       | 20/195 [00:33<01:20,  2.19it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:50] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.2.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 10%|███████████████▍                                                                                                                                       | 20/195 [00:34<01:20,  2.19it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:50] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.2.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 10%|███████████████▍                                                                                                                                       | 20/195 [00:34<01:20,  2.19it/s]
 11%|████████████████▎                                                                                                                                      | 21/195 [00:34<01:45,  1.64it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:50] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.2.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 11%|████████████████▎                                                                                                                                      | 21/195 [00:34<01:45,  1.64it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:50] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.2.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 11%|████████████████▎                                                                                                                                      | 21/195 [00:35<01:45,  1.64it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:50] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.2.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 11%|████████████████▎                                                                                                                                      | 21/195 [00:35<01:45,  1.64it/s]
 12%|█████████████████▊                                                                                                                                     | 23/195 [00:35<01:15,  2.26it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:50] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.2.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 12%|█████████████████▊                                                                                                                                     | 23/195 [00:35<01:15,  2.26it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:50] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.2.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 12%|█████████████████▊                                                                                                                                     | 23/195 [00:35<01:15,  2.26it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:50] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.3.input_layernorm.weight", shape: (4096,), dtype: float16
+
 12%|█████████████████▊                                                                                                                                     | 23/195 [00:35<01:15,  2.26it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:51] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.3.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 12%|█████████████████▊                                                                                                                                     | 23/195 [00:35<01:15,  2.26it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:51] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.3.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 12%|█████████████████▊                                                                                                                                     | 23/195 [00:35<01:15,  2.26it/s]
 13%|████████████████████▏                                                                                                                                  | 26/195 [00:35<00:55,  3.06it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.3.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 13%|████████████████████▏                                                                                                                                  | 26/195 [00:36<00:55,  3.06it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.3.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 13%|████████████████████▏                                                                                                                                  | 26/195 [00:36<00:55,  3.06it/s]
 14%|████████████████████▉                                                                                                                                  | 27/195 [00:36<01:22,  2.04it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:52] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.3.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 14%|████████████████████▉                                                                                                                                  | 27/195 [00:36<01:22,  2.04it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.3.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 14%|████████████████████▉                                                                                                                                  | 27/195 [00:37<01:22,  2.04it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.3.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 14%|████████████████████▉                                                                                                                                  | 27/195 [00:37<01:22,  2.04it/s]
 15%|██████████████████████▍                                                                                                                                | 29/195 [00:37<00:59,  2.80it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.3.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 15%|█████���████████████████▍                                                                                                                                | 29/195 [00:37<00:59,  2.80it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.3.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 15%|██████████████████████▍                                                                                                                                | 29/195 [00:37<00:59,  2.80it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:52] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.4.input_layernorm.weight", shape: (4096,), dtype: float16
+
 15%|██████████████████████▍                                                                                                                                | 29/195 [00:37<00:59,  2.80it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:53] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.4.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 15%|██████████████████████▍                                                                                                                                | 29/195 [00:37<00:59,  2.80it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:53] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.4.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 15%|██████████████████████▍                                                                                                                                | 29/195 [00:37<00:59,  2.80it/s]
 16%|████████████████████████▊                                                                                                                              | 32/195 [00:37<00:45,  3.56it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:54] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.4.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 16%|████████████████████████▊                                                                                                                              | 32/195 [00:38<00:45,  3.56it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:54] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.4.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 16%|████████████████████████▊                                                                                                                              | 32/195 [00:38<00:45,  3.56it/s]
 17%|█████████████████████████▌                                                                                                                             | 33/195 [00:38<01:06,  2.42it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:54] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.4.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 17%|█████████████████████████▌                                                                                                                             | 33/195 [00:38<01:06,  2.42it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:54] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.4.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 17%|█████████████████████████▌                                                                                                                             | 33/195 [00:38<01:06,  2.42it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:54] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.4.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 17%|█████████████████████████▌                                                                                                                             | 33/195 [00:38<01:06,  2.42it/s]
 18%|███████████████████████████                                                                                                                            | 35/195 [00:38<00:48,  3.30it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:54] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.4.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 18%|███████████████████████████                                                                                                                            | 35/195 [00:38<00:48,  3.30it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:54] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.4.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 18%|███████████████████████████                                                                                                                            | 35/195 [00:38<00:48,  3.30it/s]
 18%|███████████████████████████▉                                                                                                                           | 36/195 [00:38<00:42,  3.74it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:54] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.5.input_layernorm.weight", shape: (4096,), dtype: float16
+
 18%|███████████████████████████▉                                                                                                                           | 36/195 [00:38<00:42,  3.74it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:55] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.5.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 18%|███████████████████████████▉                                                                                                                           | 36/195 [00:39<00:42,  3.74it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:55] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.5.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 18%|███████████████████████████▉                                                                                                                           | 36/195 [00:39<00:42,  3.74it/s]
 19%|█████████████████████████████▍                                                                                                                         | 38/195 [00:39<00:43,  3.62it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:56] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.5.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 19%|█████████████████████████████▍                                                                                                                         | 38/195 [00:40<00:43,  3.62it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:56] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.5.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 19%|█████████████████████████████▍                                                                                                                         | 38/195 [00:40<00:43,  3.62it/s]
 20%|██████████████████████████████▏                                                                                                                        | 39/195 [00:40<01:09,  2.26it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:56] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.5.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 20%|██████████████████████████████▏                                                                                                                        | 39/195 [00:40<01:09,  2.26it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:56] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.5.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 20%|██████████████████████████████▏                                                                                                                        | 39/195 [00:40<01:09,  2.26it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:56] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.5.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 20%|██████████████████████████████▏                                                                                                                        | 39/195 [00:40<01:09,  2.26it/s]
 21%|███████████████████████████████▋                                                                                                                       | 41/195 [00:40<00:52,  2.95it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:56] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.5.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 21%|███████████████████████████████▋                                                                                                                       | 41/195 [00:40<00:52,  2.95it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:56] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.5.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 21%|███████████████████████████████▋                                                                                                                       | 41/195 [00:40<00:52,  2.95it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:56] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.6.input_layernorm.weight", shape: (4096,), dtype: float16
+
 21%|███████████████████████████████▋                                                                                                                       | 41/195 [00:40<00:52,  2.95it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:57] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.6.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 21%|███████████████████████████████▋                                                                                                                       | 41/195 [00:41<00:52,  2.95it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:57] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.6.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 21%|███████████████████████████████▋                                                                                                                       | 41/195 [00:41<00:52,  2.95it/s]
 23%|██████████████████████████████████                                                                                                                     | 44/195 [00:41<00:38,  3.90it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:58] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.6.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 23%|██████████████████████████████████                                                                                                                     | 44/195 [00:42<00:38,  3.90it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:58] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.6.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 23%|██████████████████████████████████                                                                                                                     | 44/195 [00:42<00:38,  3.90it/s]
 23%|██████████████████████████████████▊                                                                                                                    | 45/195 [00:42<00:59,  2.54it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:58] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.6.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 23%|██████████████████████████████████▊                                                                                                                    | 45/195 [00:42<00:59,  2.54it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:58] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.6.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 23%|██████████████████████████████████▊                                                                                                                    | 45/195 [00:42<00:59,  2.54it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:58] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.6.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 23%|██████████████████████████████████▊                                                                                                                    | 45/195 [00:42<00:59,  2.54it/s]
 24%|████████████████████████████████████▍                                                                                                                  | 47/195 [00:42<00:45,  3.25it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:58] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.6.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 24%|████████████████████████████████████▍                                                                                                                  | 47/195 [00:42<00:45,  3.25it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:58] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.6.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 24%|████████████████████████████████████▍                                                                                                                  | 47/195 [00:42<00:45,  3.25it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:58] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.7.input_layernorm.weight", shape: (4096,), dtype: float16
+
 24%|████████████████████████████████████▍                                                                                                                  | 47/195 [00:42<00:45,  3.25it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:58] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.7.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 24%|████████████████████████████████████▍                                                                                                                  | 47/195 [00:43<00:45,  3.25it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:58] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.7.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 24%|████████████████████████████████████▍                                                                                                                  | 47/195 [00:43<00:45,  3.25it/s]
 26%|██████████████████████████████████████▋                                                                                                                | 50/195 [00:43<00:34,  4.19it/s]
                                                                                                                                                                                             
[2024-04-18 15:36:59] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.7.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 26%|██████████████████████████████████████▋                                                                                                                | 50/195 [00:44<00:34,  4.19it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:00] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.7.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 26%|██████████████████████████████████████▋                                                                                                                | 50/195 [00:44<00:34,  4.19it/s]
 26%|███████████████████████████████████████▍                                                                                                               | 51/195 [00:44<01:01,  2.35it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:00] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.7.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 26%|███████████████████████████████████████▍                                                                                                               | 51/195 [00:44<01:01,  2.35it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:00] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.7.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 26%|███████████████████████████████████████▍                                                                                                               | 51/195 [00:44<01:01,  2.35it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:00] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.7.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 26%|███████████████████████████████████████▍                                                                                                               | 51/195 [00:44<01:01,  2.35it/s]
 27%|█████████████████████████████████████████                                                                                                              | 53/195 [00:44<00:44,  3.17it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:00] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.7.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 27%|█████████████████████████████████████████                                                                                                              | 53/195 [00:44<00:44,  3.17it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:00] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.7.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 27%|█████████████████████████████████████████                                                                                                              | 53/195 [00:44<00:44,  3.17it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:00] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.8.input_layernorm.weight", shape: (4096,), dtype: float16
+
 27%|█████████████████████████████████████████                                                                                                              | 53/195 [00:44<00:44,  3.17it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:00] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.8.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 27%|█████████████████████████████████████████                                                                                                              | 53/195 [00:44<00:44,  3.17it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:00] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.8.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 27%|█████████████████████████████████████████                                                                                                              | 53/195 [00:45<00:44,  3.17it/s]
 29%|███████████████████████████████████████████▎                                                                                                           | 56/195 [00:45<00:34,  4.01it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:01] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.8.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 29%|███████████████████████████████████████████▎                                                                                                           | 56/195 [00:46<00:34,  4.01it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:02] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.8.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 29%|███████████████████████████████████████████▎                                                                                                           | 56/195 [00:46<00:34,  4.01it/s]
 29%|████████████████████████████████████████████▏                                                                                                          | 57/195 [00:46<00:55,  2.50it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:02] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.8.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 29%|████████████████████████████████████████████▏                                                                                                          | 57/195 [00:46<00:55,  2.50it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:02] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.8.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 29%|████████████████████████████████████████████▏                                                                                                          | 57/195 [00:46<00:55,  2.50it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:02] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.8.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 29%|████████████████████████████████████████████▏                                                                                                          | 57/195 [00:46<00:55,  2.50it/s]
 30%|█████████████████████████████████████████████▋                                                                                                         | 59/195 [00:46<00:40,  3.35it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:02] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.8.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 30%|█████████████████████████████████████████████▋                                                                                                         | 59/195 [00:46<00:40,  3.35it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:02] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.8.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 30%|█████████████████████████████████████████████▋                                                                                                         | 59/195 [00:46<00:40,  3.35it/s]
 31%|██████████████████████████████████████████████▍                                                                                                        | 60/195 [00:46<00:35,  3.81it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:02] INFO huggingface_loader.py:196: Unloading HF weight file: /models/Meta-Llama-3-8B-Instruct/model-00001-of-00004.safetensors
+
 31%|██████████████████████████████████████████████▍                                                                                                        | 60/195 [00:46<00:35,  3.81it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:02] INFO huggingface_loader.py:184: Loading HF parameters from: /models/Meta-Llama-3-8B-Instruct/model-00002-of-00004.safetensors
+
 31%|██████████████████████████████████████████████▍                                                                                                        | 60/195 [00:47<00:35,  3.81it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:13] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.10.input_layernorm.weight", shape: (4096,), dtype: float16
+
 31%|██████████████████████████████████████████████▍                                                                                                        | 60/195 [00:57<00:35,  3.81it/s]
 31%|███████████████████████████████████████████████▏                                                                                                       | 61/195 [00:57<05:31,  2.48s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:13] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.10.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 31%|███████████████████████████████████████████████▏                                                                                                       | 61/195 [00:57<05:31,  2.48s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:13] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.10.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 31%|███████████████████████████████████████████████▏                                                                                                       | 61/195 [00:57<05:31,  2.48s/it]
 32%|████████████████████████████████████████████████                                                                                                       | 62/195 [00:57<04:26,  2.01s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:14] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.10.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 32%|████████████████████████████████████████████████                                                                                                       | 62/195 [00:58<04:26,  2.01s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:14] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.10.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 32%|████████████████████████████████████████████████                                                                                                       | 62/195 [00:59<04:26,  2.01s/it]
 32%|████████████████████████████████████████████████▊                                                                                                      | 63/195 [00:59<04:00,  1.82s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:14] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.10.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 32%|████████████████████████████████████████████████▊                                                                                                      | 63/195 [00:59<04:00,  1.82s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:15] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.10.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 32%|████████████████████████████████████████████████▊                                                                                                      | 63/195 [00:59<04:00,  1.82s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:15] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.10.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 32%|████████████████████████████████████████████████▊                                                                                                      | 63/195 [00:59<04:00,  1.82s/it]
 33%|██████████████████████████████████████████████████▎                                                                                                    | 65/195 [00:59<02:27,  1.13s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:15] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.10.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 33%|██████████████████████████████████████████████████▎                                                                                                    | 65/195 [00:59<02:27,  1.13s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:15] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.10.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 33%|██████████████████████████████████████████████████▎                                                                                                    | 65/195 [00:59<02:27,  1.13s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:15] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.11.input_layernorm.weight", shape: (4096,), dtype: float16
+
 33%|██████████████████████████████████████████████████▎                                                                                                    | 65/195 [00:59<02:27,  1.13s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:15] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.11.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 33%|██████████████████████████████████████████████████▎                                                                                                    | 65/195 [00:59<02:27,  1.13s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:15] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.11.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 33%|██████████████████████████████████████████████████▎                                                                                                    | 65/195 [00:59<02:27,  1.13s/it]
 35%|████████████████████████████████████████████████████▋                                                                                                  | 68/195 [00:59<01:24,  1.51it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:16] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.11.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 35%|████████████████████████████████████████████████████▋                                                                                                  | 68/195 [01:00<01:24,  1.51it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:16] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.11.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 35%|████████████████████████████████████████████████████▋                                                                                                  | 68/195 [01:01<01:24,  1.51it/s]
 35%|█████████████████████████████████████████████████████▍                                                                                                 | 69/195 [01:01<01:36,  1.30it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:16] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.11.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 35%|█████████████████████████████████████████████████████▍                                                                                                 | 69/195 [01:01<01:36,  1.30it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:17] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.11.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 35%|█████████████████████████████████████████████████████▍                                                                                                 | 69/195 [01:01<01:36,  1.30it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:17] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.11.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 35%|█████████████████████████████████████████████████████▍                                                                                                 | 69/195 [01:01<01:36,  1.30it/s]
 36%|██████████████████████████████████████████████████████▉                                                                                                | 71/195 [01:01<01:14,  1.66it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:17] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.11.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 36%|██████████████████████████████████████████████████████▉                                                                                                | 71/195 [01:01<01:14,  1.66it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:17] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.11.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 36%|██████████████████████████████████████████████████████▉                                                                                                | 71/195 [01:01<01:14,  1.66it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:17] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.12.input_layernorm.weight", shape: (4096,), dtype: float16
+
 36%|██████████████████████████████████████████████████████▉                                                                                                | 71/195 [01:01<01:14,  1.66it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:17] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.12.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 36%|██████████████████████████████████████████████████████▉                                                                                                | 71/195 [01:01<01:14,  1.66it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:17] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.12.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 36%|██████████████████████████████████████████████████████▉                                                                                                | 71/195 [01:02<01:14,  1.66it/s]
 38%|█████████████████████████████████████████████████████████▎                                                                                             | 74/195 [01:02<00:48,  2.47it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:18] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.12.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 38%|█████████████████████████████████████████████████████████▎                                                                                             | 74/195 [01:02<00:48,  2.47it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:18] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.12.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 38%|█████████████████████████████████████████████████████████▎                                                                                             | 74/195 [01:03<00:48,  2.47it/s]
 38%|██████████████████████████████████████████████████████████                                                                                             | 75/195 [01:03<01:03,  1.90it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:18] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.12.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 38%|██████████████████████████████████████████████████████████                                                                                             | 75/195 [01:03<01:03,  1.90it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:19] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.12.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 38%|██████████████████████████████████████████████████████████                                                                                             | 75/195 [01:03<01:03,  1.90it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:19] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.12.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 38%|██████████████████████████████████████████████████████████                                                                                             | 75/195 [01:03<01:03,  1.90it/s]
 39%|███████████████████████████████████████████████████████████▋                                                                                           | 77/195 [01:03<00:45,  2.60it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:19] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.12.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 39%|███████████████████████████████████████████████████████████▋                                                                                           | 77/195 [01:03<00:45,  2.60it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:19] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.12.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 39%|███████████████████████████████████████████████████████████▋                                                                                           | 77/195 [01:03<00:45,  2.60it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:19] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.13.input_layernorm.weight", shape: (4096,), dtype: float16
+
 39%|███████████████████████████████████████████████████████████▋                                                                                           | 77/195 [01:03<00:45,  2.60it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:19] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.13.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 39%|███████████████████████████████████████████████████████████▋                                                                                           | 77/195 [01:03<00:45,  2.60it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:19] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.13.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 39%|███████████████████████████████████████████████████████████▋                                                                                           | 77/195 [01:03<00:45,  2.60it/s]
 41%|█████████████████████████████████████████████████████████████▉                                                                                         | 80/195 [01:03<00:33,  3.42it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:20] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.13.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 41%|█████████████████████████████████████████████████████████████▉                                                                                         | 80/195 [01:04<00:33,  3.42it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:20] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.13.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 41%|█████████████████████████████████████████████████████████████▉                                                                                         | 80/195 [01:04<00:33,  3.42it/s]
 42%|██████████████████████████████████████████████████████████████▋                                                                                        | 81/195 [01:04<00:47,  2.38it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:20] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.13.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 42%|██████████████████████████████████████████████████████████████▋                                                                                        | 81/195 [01:04<00:47,  2.38it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:20] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.13.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 42%|██████████████████████████████████████████████████████████████▋                                                                                        | 81/195 [01:05<00:47,  2.38it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:20] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.13.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 42%|██████████████████████████████████████████████████████████████▋                                                                                        | 81/195 [01:05<00:47,  2.38it/s]
 43%|████████████████████████████████████████████████████████████████▎                                                                                      | 83/195 [01:05<00:34,  3.24it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:20] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.13.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 43%|████████████████████████████████████████████████████████████████▎                                                                                      | 83/195 [01:05<00:34,  3.24it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:20] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.13.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 43%|████████████████████████████████████████████████████████████████▎                                                                                      | 83/195 [01:05<00:34,  3.24it/s]
 43%|█████████████████████████████████████████████████████████████████                                                                                      | 84/195 [01:05<00:30,  3.68it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:20] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.14.input_layernorm.weight", shape: (4096,), dtype: float16
+
 43%|█████████████████████████████████████████████████████████████████                                                                                      | 84/195 [01:05<00:30,  3.68it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:21] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.14.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 43%|█████████████████████████████████████████████████████████████████                                                                                      | 84/195 [01:05<00:30,  3.68it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:21] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.14.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 43%|█████████████████████████████████████████████████████████████████                                                                                      | 84/195 [01:05<00:30,  3.68it/s]
 44%|██████████████████████████████████████████████████████████████████▌                                                                                    | 86/195 [01:05<00:24,  4.37it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:22] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.14.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 44%|██████████████████████████████████████████████████████████████████▌                                                                                    | 86/195 [01:06<00:24,  4.37it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:22] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.14.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 44%|██████████████████████████████████████████████████████████████████▌                                                                                    | 86/195 [01:06<00:24,  4.37it/s]
 45%|███████████████████████████████████████████████████████████████████▎                                                                                   | 87/195 [01:06<00:43,  2.51it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:22] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.14.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 45%|███████████████████████████████████████████████████████████████████▎                                                                                   | 87/195 [01:06<00:43,  2.51it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:22] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.14.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 45%|███████████████████████████████████████████████████████████████████▎                                                                                   | 87/195 [01:06<00:43,  2.51it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:22] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.14.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 45%|███████████████████████████████████████████████████████████████████▎                                                                                   | 87/195 [01:06<00:43,  2.51it/s]
 46%|████████████████████████████████████████████████████████████████████▉                                                                                  | 89/195 [01:06<00:30,  3.46it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:22] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.14.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 46%|████████████████████████████████████████████████████████████████████▉                                                                                  | 89/195 [01:06<00:30,  3.46it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:22] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.14.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 46%|████████████████████████████████████████████████████████████████████▉                                                                                  | 89/195 [01:06<00:30,  3.46it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:22] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.15.input_layernorm.weight", shape: (4096,), dtype: float16
+
 46%|████████████████████████████████████████████████████████████████████▉                                                                                  | 89/195 [01:06<00:30,  3.46it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:22] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.15.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 46%|████████████████████████████████████████████████████████████████████▉                                                                                  | 89/195 [01:07<00:30,  3.46it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:22] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.15.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 46%|████████████████████████████████████████████████████████████████████▉                                                                                  | 89/195 [01:07<00:30,  3.46it/s]
 47%|███████████████████████████████████████████████████████████████████████▏                                                                               | 92/195 [01:07<00:22,  4.50it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:23] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.15.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 47%|███████████████████████████████████████████████████████████████████████▏                                                                               | 92/195 [01:08<00:22,  4.50it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:24] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.15.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 47%|███████████████████████████████████████████████████████████████████████▏                                                                               | 92/195 [01:08<00:22,  4.50it/s]
 48%|████████████████████████████████████████████████████████████████████████                                                                               | 93/195 [01:08<00:39,  2.61it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:24] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.15.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 48%|████████████████████████████████████████████████████████████████████████                                                                               | 93/195 [01:08<00:39,  2.61it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:24] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.15.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 48%|████████████████████████████████████████████████████████████████████████                                                                               | 93/195 [01:08<00:39,  2.61it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:24] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.15.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 48%|████████████████████████████████████████████████████████████████████████                                                                               | 93/195 [01:08<00:39,  2.61it/s]
 49%|████████████████████████████████████████████████████████████████���████████▌                                                                             | 95/195 [01:08<00:29,  3.36it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:24] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.15.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 49%|█████████████████████████████████████████████████████████████████████████▌                                                                             | 95/195 [01:08<00:29,  3.36it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:24] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.15.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 49%|█████████████████████████████████████████████████████████████████████████▌                                                                             | 95/195 [01:08<00:29,  3.36it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:24] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.16.input_layernorm.weight", shape: (4096,), dtype: float16
+
 49%|█████████████████████████████████████████████████████████████████████████▌                                                                             | 95/195 [01:08<00:29,  3.36it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:24] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.16.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 49%|█████████████████████████████████████████████████████████████████████████▌                                                                             | 95/195 [01:08<00:29,  3.36it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:24] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.16.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 49%|█████████████████████████████████████████████████████████████████████████▌                                                                             | 95/195 [01:08<00:29,  3.36it/s]
 50%|███████████████████████████████████████████████████████████████████████████▉                                                                           | 98/195 [01:08<00:22,  4.34it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:26] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.16.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 50%|███████████████████████████████████████████████████████████████████████████▉                                                                           | 98/195 [01:10<00:22,  4.34it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:26] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.16.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 50%|███████████████████████████████████████████████████████████████████████████▉                                                                           | 98/195 [01:10<00:22,  4.34it/s]
 51%|████████████████████████████████████████████████████████████████████████████▋                                                                          | 99/195 [01:10<00:44,  2.14it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:26] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.16.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 51%|████████████████████████████████████████████████████████████████████████████▋                                                                          | 99/195 [01:10<00:44,  2.14it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:27] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.16.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 51%|████████████████████████████████████████████████████████████████████████████▋                                                                          | 99/195 [01:11<00:44,  2.14it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:27] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.16.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 51%|████████████████████████████████████████████████████████████████████████████▋                                                                          | 99/195 [01:11<00:44,  2.14it/s]
 52%|█████████████████████████████████████████████████████████████████████████████▋                                                                        | 101/195 [01:11<00:49,  1.91it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:27] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.16.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 52%|█████████████████████████████████████████████████████████████████████████████▋                                                                        | 101/195 [01:11<00:49,  1.91it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:27] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.16.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 52%|█████████████████████████████████████████████████████████████████████████████▋                                                                        | 101/195 [01:11<00:49,  1.91it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:27] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.17.input_layernorm.weight", shape: (4096,), dtype: float16
+
 52%|█████████████████████████████████████████████████████████████████████████████▋                                                                        | 101/195 [01:11<00:49,  1.91it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:27] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.17.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 52%|█████████████████████████████████████████████████████████████████████████████▋                                                                        | 101/195 [01:12<00:49,  1.91it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:27] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.17.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 52%|█████████████████████████████████████████████████████████████████████████████▋                                                                        | 101/195 [01:12<00:49,  1.91it/s]
 53%|████████████████████████████████████████████████████████████████████████████████                                                                      | 104/195 [01:12<00:33,  2.71it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:29] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.17.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 53%|████████████████████████████████████████████████████████████████████████████████                                                                      | 104/195 [01:13<00:33,  2.71it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:29] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.17.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 53%|████████████████████████████████████████████████████████████████████████████████                                                                      | 104/195 [01:13<00:33,  2.71it/s]
 54%|████████████████████████████████████████████████████████████████████████████████▊                                                                     | 105/195 [01:13<00:49,  1.83it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:29] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.17.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 54%|████████████████████████████████████████████████████████████████████████████████▊                                                                     | 105/195 [01:13<00:49,  1.83it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:29] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.17.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 54%|████████████████████████████████████████████████████████████████████████████████▊                                                                     | 105/195 [01:13<00:49,  1.83it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:29] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.17.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 54%|████████████████████████████████████████████████████████████████████████████████▊                                                                     | 105/195 [01:13<00:49,  1.83it/s]
 55%|██████████████████████████████████████████████████████████████████████████████████▎                                                                   | 107/195 [01:13<00:35,  2.48it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:29] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.17.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 55%|██████████████████████████████████████████████████████████████████████████████████▎                                                                   | 107/195 [01:14<00:35,  2.48it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:29] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.17.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 55%|██████████████████████████████████████████████████████████████████████████████████▎                                                                   | 107/195 [01:14<00:35,  2.48it/s]
 55%|███████████████████████████████████████████████████████████████████████████████████                                                                   | 108/195 [01:14<00:30,  2.87it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:29] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.18.input_layernorm.weight", shape: (4096,), dtype: float16
+
 55%|███████████████████████████████████████████████████████████████████████████████████                                                                   | 108/195 [01:14<00:30,  2.87it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:30] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.18.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 55%|███████████████████████████████████████████████████████████████████████████████████                                                                   | 108/195 [01:14<00:30,  2.87it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:30] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.18.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 55%|███████████████████████████████████████████████████████████████████████████████████                                                                   | 108/195 [01:14<00:30,  2.87it/s]
 56%|████████████████████████████████████████████████████████████████████████████████████▌                                                                 | 110/195 [01:14<00:26,  3.21it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:31] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.18.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 56%|████████████████████████████████████████████████████████████████████████████████████▌                                                                 | 110/195 [01:15<00:26,  3.21it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:31] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.18.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 56%|████████████████████████████████████████████████████████████████████████████████████▌                                                                 | 110/195 [01:15<00:26,  3.21it/s]
 57%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                | 111/195 [01:15<00:42,  1.96it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:31] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.18.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 57%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                | 111/195 [01:15<00:42,  1.96it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:31] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.18.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 57%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                | 111/195 [01:16<00:42,  1.96it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:31] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.18.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 57%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                | 111/195 [01:16<00:42,  1.96it/s]
 58%|██████████████████████████████████████████████████████████████████████████████████████▉                                                               | 113/195 [01:16<00:29,  2.77it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:31] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.18.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 58%|██████████████████████████████████████████████████████████████████████████████████████▉                                                               | 113/195 [01:16<00:29,  2.77it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:31] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.18.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 58%|██████████████████████████████████████████████████████████████████████████████████████▉                                                               | 113/195 [01:16<00:29,  2.77it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:31] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.19.input_layernorm.weight", shape: (4096,), dtype: float16
+
 58%|██████████████████████████████████████████████████████████████████████████████████████▉                                                               | 113/195 [01:16<00:29,  2.77it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:32] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.19.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 58%|██████████████████████████████████████████████████████████████████████████████████████▉                                                               | 113/195 [01:16<00:29,  2.77it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:32] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.19.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 58%|██████████████████████████████████████████████████████████████████████████████████████▉                                                               | 113/195 [01:16<00:29,  2.77it/s]
 59%|█████████████████████████████████████████████████████████████████████████████████████████▏                                                            | 116/195 [01:16<00:22,  3.51it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:33] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.19.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 59%|█████████████████████████████████████████████████████████████████████████████████████████▏                                                            | 116/195 [01:17<00:22,  3.51it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:33] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.19.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 59%|█████████████████████████████████████████████████████████████████████████████████████████▏                                                            | 116/195 [01:17<00:22,  3.51it/s]
 60%|██████████████████████████████████████████████████████████████████████████████████████████                                                            | 117/195 [01:17<00:34,  2.27it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:33] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.19.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 60%|██████████████████████████████████████████████████████████████████████████████████████████                                                            | 117/195 [01:17<00:34,  2.27it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:33] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.19.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 60%|██████████████████████████████████████████████████████████████████████████████████████████                                                            | 117/195 [01:17<00:34,  2.27it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:33] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.19.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 60%|██████████████████████████████████████████████████████████████████████████████████████████                                                            | 117/195 [01:18<00:34,  2.27it/s]
 61%|███████████████████████████████████████████████████████████████████████████████████████████▌                                                          | 119/195 [01:18<00:25,  3.03it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:33] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.19.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 61%|███████████████████████████████████████████████████████████████████████████████████████████▌                                                          | 119/195 [01:18<00:25,  3.03it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:33] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.19.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 61%|███████████████████████████████████████████████████████████████████████████████████████████▌                                                          | 119/195 [01:18<00:25,  3.03it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:33] INFO huggingface_loader.py:184: Loading HF parameters from: /models/Meta-Llama-3-8B-Instruct/model-00003-of-00004.safetensors
+
 61%|███████████████████████████████████████████████████████████████████████████████████████████▌                                                          | 119/195 [01:18<00:25,  3.03it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:45] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.20.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 61%|███████████████████████████████████���███████████████████████████████████████████████████████▌                                                          | 119/195 [01:29<00:25,  3.03it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:45] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.20.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 61%|███████████████████████████████████████████████████████████████████████████████████████████▌                                                          | 119/195 [01:30<00:25,  3.03it/s]
 62%|█████████████████████████████████████████████████████████████████████████████████████████████                                                         | 121/195 [01:30<02:41,  2.18s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:46] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.20.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 62%|█████████████████████████████████████████████████████████████████████████████████████████████                                                         | 121/195 [01:30<02:41,  2.18s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:46] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.20.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 62%|█████████████████████████████████████████████████████████████████████████████████████████████                                                         | 121/195 [01:30<02:41,  2.18s/it]
 63%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                        | 122/195 [01:30<02:13,  1.83s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:46] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.20.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 63%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                        | 122/195 [01:31<02:13,  1.83s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:46] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.20.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 63%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                        | 122/195 [01:31<02:13,  1.83s/it]
 63%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 123/195 [01:31<01:51,  1.54s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:46] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.9.input_layernorm.weight", shape: (4096,), dtype: float16
+
 63%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 123/195 [01:31<01:51,  1.54s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:47] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.9.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 63%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 123/195 [01:31<01:51,  1.54s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:47] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.9.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 63%|██████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 123/195 [01:31<01:51,  1.54s/it]
 64%|████████████████████████████████████████████████████████████████████████████████████████████████▏                                                     | 125/195 [01:31<01:12,  1.03s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.9.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 64%|████████████████████████████████████████████████████████████████████████████████████████████████▏                                                     | 125/195 [01:32<01:12,  1.03s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.9.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 64%|████████████████████████████████████████████████████████████████████████████████████████████████▏                                                     | 125/195 [01:32<01:12,  1.03s/it]
 65%|████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 126/195 [01:32<01:14,  1.08s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:48] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.9.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 65%|████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 126/195 [01:32<01:14,  1.08s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.9.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 65%|████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 126/195 [01:32<01:14,  1.08s/it]
                                                                                                                                                                                             
[2024-04-18 15:37:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.9.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 65%|████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 126/195 [01:32<01:14,  1.08s/it]
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                                   | 128/195 [01:32<00:47,  1.42it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.9.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                                   | 128/195 [01:32<00:47,  1.42it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.9.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                                   | 128/195 [01:32<00:47,  1.42it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:48] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.20.input_layernorm.weight", shape: (4096,), dtype: float16
+
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                                   | 128/195 [01:32<00:47,  1.42it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.20.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                                   | 128/195 [01:33<00:47,  1.42it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:48] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.20.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                                   | 128/195 [01:33<00:47,  1.42it/s]
 67%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                 | 131/195 [01:33<00:29,  2.19it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:48] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.20.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 67%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                 | 131/195 [01:33<00:29,  2.19it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:48] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.21.input_layernorm.weight", shape: (4096,), dtype: float16
+
 67%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                 | 131/195 [01:33<00:29,  2.19it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:49] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.21.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 67%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                 | 131/195 [01:33<00:29,  2.19it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:49] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.21.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 67%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                 | 131/195 [01:33<00:29,  2.19it/s]
 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████                                               | 134/195 [01:33<00:19,  3.09it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:50] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.21.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████                                               | 134/195 [01:34<00:19,  3.09it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:50] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.21.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████                                               | 134/195 [01:34<00:19,  3.09it/s]
 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                                              | 135/195 [01:34<00:28,  2.12it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:50] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.21.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                                              | 135/195 [01:34<00:28,  2.12it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:50] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.21.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                                              | 135/195 [01:35<00:28,  2.12it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:50] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.21.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                                              | 135/195 [01:35<00:28,  2.12it/s]
 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                            | 137/195 [01:35<00:20,  2.80it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:50] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.21.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                            | 137/195 [01:35<00:20,  2.80it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:50] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.21.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                            | 137/195 [01:35<00:20,  2.80it/s]
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                           | 138/195 [01:35<00:18,  3.12it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:50] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.22.input_layernorm.weight", shape: (4096,), dtype: float16
+
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                           | 138/195 [01:35<00:18,  3.12it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:51] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.22.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                           | 138/195 [01:35<00:18,  3.12it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:51] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.22.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                           | 138/195 [01:35<00:18,  3.12it/s]
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 140/195 [01:35<00:14,  3.76it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.22.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 140/195 [01:36<00:14,  3.76it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.22.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 140/195 [01:36<00:14,  3.76it/s]
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                         | 141/195 [01:36<00:22,  2.38it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:52] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.22.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                         | 141/195 [01:36<00:22,  2.38it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.22.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                         | 141/195 [01:36<00:22,  2.38it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.22.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                         | 141/195 [01:36<00:22,  2.38it/s]
 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                        | 143/195 [01:36<00:16,  3.24it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.22.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                        | 143/195 [01:36<00:16,  3.24it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.22.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                        | 143/195 [01:36<00:16,  3.24it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:52] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.23.input_layernorm.weight", shape: (4096,), dtype: float16
+
 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                        | 143/195 [01:36<00:16,  3.24it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.23.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                        | 143/195 [01:37<00:16,  3.24it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:52] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.23.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                        | 143/195 [01:37<00:16,  3.24it/s]
 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                     | 146/195 [01:37<00:11,  4.45it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:53] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.23.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                     | 146/195 [01:38<00:11,  4.45it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:53] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.23.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                     | 146/195 [01:38<00:11,  4.45it/s]
 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                     | 147/195 [01:38<00:17,  2.69it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:53] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.23.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                     | 147/195 [01:38<00:17,  2.69it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:54] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.23.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 75%|██████████████████████████████████████████████████████████���██████████████████████████████████████████████████████                                     | 147/195 [01:38<00:17,  2.69it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:54] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.23.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                     | 147/195 [01:38<00:17,  2.69it/s]
 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                   | 149/195 [01:38<00:12,  3.60it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:54] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.23.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                   | 149/195 [01:38<00:12,  3.60it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:54] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.23.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                   | 149/195 [01:38<00:12,  3.60it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:54] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.24.input_layernorm.weight", shape: (4096,), dtype: float16
+
 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                   | 149/195 [01:38<00:12,  3.60it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:54] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.24.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                   | 149/195 [01:38<00:12,  3.60it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:54] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.24.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 76%|█████████████████████████████████████████████████████████████████████████████���████████████████████████████████████▌                                   | 149/195 [01:38<00:12,  3.60it/s]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                 | 152/195 [01:38<00:09,  4.47it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:55] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.24.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                 | 152/195 [01:39<00:09,  4.47it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:55] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.24.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                 | 152/195 [01:39<00:09,  4.47it/s]
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                | 153/195 [01:39<00:14,  2.80it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:55] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.24.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                | 153/195 [01:39<00:14,  2.80it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:55] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.24.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                | 153/195 [01:40<00:14,  2.80it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:55] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.24.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                | 153/195 [01:40<00:14,  2.80it/s]
 79%|██████████████████████████████████████████████████████���████████████████████████████████████████████████████████████████▏                              | 155/195 [01:40<00:10,  3.72it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:55] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.24.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                              | 155/195 [01:40<00:10,  3.72it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:55] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.24.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                              | 155/195 [01:40<00:10,  3.72it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:55] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.25.input_layernorm.weight", shape: (4096,), dtype: float16
+
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                              | 155/195 [01:40<00:10,  3.72it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:56] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.25.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                              | 155/195 [01:40<00:10,  3.72it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:56] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.25.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                              | 155/195 [01:40<00:10,  3.72it/s]
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                            | 158/195 [01:40<00:08,  4.44it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:57] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.25.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 81%|██████████████████████████████████████████████���██████████████████████████████████████████████████████████████████████████▌                            | 158/195 [01:41<00:08,  4.44it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:57] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.25.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                            | 158/195 [01:41<00:08,  4.44it/s]
 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                           | 159/195 [01:41<00:13,  2.74it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:57] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.25.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                           | 159/195 [01:41<00:13,  2.74it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:57] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.25.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                           | 159/195 [01:41<00:13,  2.74it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:57] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.25.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                           | 159/195 [01:41<00:13,  2.74it/s]
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                          | 161/195 [01:41<00:09,  3.41it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:57] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.25.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                          | 161/195 [01:41<00:09,  3.41it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:57] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.25.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                          | 161/195 [01:42<00:09,  3.41it/s]
 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 162/195 [01:42<00:08,  3.84it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:57] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.26.input_layernorm.weight", shape: (4096,), dtype: float16
+
 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 162/195 [01:42<00:08,  3.84it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:58] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.26.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 162/195 [01:42<00:08,  3.84it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:58] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.26.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 162/195 [01:42<00:08,  3.84it/s]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                       | 164/195 [01:42<00:07,  4.04it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:59] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.26.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                       | 164/195 [01:43<00:07,  4.04it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:59] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.26.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                       | 164/195 [01:43<00:07,  4.04it/s]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                       | 165/195 [01:43<00:13,  2.15it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:59] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.26.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                       | 165/195 [01:43<00:13,  2.15it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:59] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.26.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                       | 165/195 [01:43<00:13,  2.15it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:59] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.26.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                       | 165/195 [01:43<00:13,  2.15it/s]
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                     | 167/195 [01:44<00:09,  2.95it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:59] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.26.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                     | 167/195 [01:44<00:09,  2.95it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:59] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.26.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 86%|███████████████████████████████��████████████████████████████████████████████████████████████████████████████████████████████████▍                     | 167/195 [01:44<00:09,  2.95it/s]
                                                                                                                                                                                             
[2024-04-18 15:37:59] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.27.input_layernorm.weight", shape: (4096,), dtype: float16
+
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                     | 167/195 [01:44<00:09,  2.95it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:00] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.27.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                     | 167/195 [01:44<00:09,  2.95it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:00] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.27.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                     | 167/195 [01:44<00:09,  2.95it/s]
 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 170/195 [01:44<00:06,  4.04it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:01] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.27.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 170/195 [01:45<00:06,  4.04it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:01] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.27.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 170/195 [01:45<00:06,  4.04it/s]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████���█████████████████████████████████▌                  | 171/195 [01:45<00:09,  2.49it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:01] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.27.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 171/195 [01:45<00:09,  2.49it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:01] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.27.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 171/195 [01:45<00:09,  2.49it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:01] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.27.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 171/195 [01:45<00:09,  2.49it/s]
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 173/195 [01:45<00:06,  3.25it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:01] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.27.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 173/195 [01:45<00:06,  3.25it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:01] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.27.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 173/195 [01:45<00:06,  3.25it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:01] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.28.input_layernorm.weight", shape: (4096,), dtype: float16
+
 89%|███████████████████████████��█████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 173/195 [01:45<00:06,  3.25it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:01] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.28.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 173/195 [01:46<00:06,  3.25it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:01] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.28.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 173/195 [01:46<00:06,  3.25it/s]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 176/195 [01:46<00:04,  4.33it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:02] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.28.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 176/195 [01:46<00:04,  4.33it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:02] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.28.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 176/195 [01:47<00:04,  4.33it/s]
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 177/195 [01:47<00:06,  2.77it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:02] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.28.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 177/195 [01:47<00:06,  2.77it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:03] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.28.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 177/195 [01:47<00:06,  2.77it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:03] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.28.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 177/195 [01:47<00:06,  2.77it/s]
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 179/195 [01:47<00:04,  3.62it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:03] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.28.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 179/195 [01:47<00:04,  3.62it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:03] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.28.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 179/195 [01:47<00:04,  3.62it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:03] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.29.input_layernorm.weight", shape: (4096,), dtype: float16
+
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 179/195 [01:47<00:04,  3.62it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:03] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.29.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 179/195 [01:47<00:04,  3.62it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:03] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.29.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 179/195 [01:47<00:04,  3.62it/s]
 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 182/195 [01:47<00:02,  4.46it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:04] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.29.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 182/195 [01:48<00:02,  4.46it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:04] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.29.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 182/195 [01:48<00:02,  4.46it/s]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 183/195 [01:48<00:04,  2.81it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:04] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.29.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 183/195 [01:48<00:04,  2.81it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:04] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.29.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 183/195 [01:49<00:04,  2.81it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:04] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.29.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 183/195 [01:49<00:04,  2.81it/s]
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 185/195 [01:49<00:02,  3.74it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:04] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.29.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 185/195 [01:49<00:02,  3.74it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:04] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.29.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 185/195 [01:49<00:02,  3.74it/s]
 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████       | 186/195 [01:49<00:02,  4.18it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:04] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.30.input_layernorm.weight", shape: (4096,), dtype: float16
+
 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████       | 186/195 [01:49<00:02,  4.18it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:05] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.30.mlp.down_proj.q_weight", shape: (4096, 1792), dtype: uint32
+
 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████       | 186/195 [01:49<00:02,  4.18it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:05] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.30.mlp.down_proj.q_scale", shape: (4096, 448), dtype: float16
+
 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████       | 186/195 [01:49<00:02,  4.18it/s]
 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 188/195 [01:49<00:01,  4.67it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:06] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.30.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 188/195 [01:50<00:01,  4.67it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:06] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.30.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 188/195 [01:50<00:01,  4.67it/s]
 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 189/195 [01:50<00:02,  2.70it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:06] INFO huggingface_loader.py:174: [Not quantized] Parameter: "model.layers.30.post_attention_layernorm.weight", shape: (4096,), dtype: float16
+
 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 189/195 [01:50<00:02,  2.70it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:06] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.30.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 189/195 [01:50<00:02,  2.70it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:06] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.30.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 189/195 [01:50<00:02,  2.70it/s]
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 191/195 [01:50<00:01,  3.58it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:06] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.30.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 191/195 [01:50<00:01,  3.58it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:06] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.30.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 191/195 [01:50<00:01,  3.58it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:07] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.31.mlp.gate_up_proj.q_weight", shape: (28672, 512), dtype: uint32
+
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 191/195 [01:51<00:01,  3.58it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:07] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.31.mlp.gate_up_proj.q_scale", shape: (28672, 128), dtype: float16
+
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 191/195 [01:51<00:01,  3.58it/s]
 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 193/195 [01:51<00:00,  2.60it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:07] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.31.self_attn.qkv_proj.q_weight", shape: (6144, 512), dtype: uint32
+
 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 193/195 [01:52<00:00,  2.60it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:07] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.31.self_attn.qkv_proj.q_scale", shape: (6144, 128), dtype: float16
+
 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 193/195 [01:52<00:00,  2.60it/s]
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 194/195 [01:52<00:00,  2.81it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:07] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.31.self_attn.o_proj.q_weight", shape: (4096, 512), dtype: uint32
+
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 194/195 [01:52<00:00,  2.81it/s]
                                                                                                                                                                                             
[2024-04-18 15:38:07] INFO huggingface_loader.py:166: [Quantized] Parameter: "model.layers.31.self_attn.o_proj.q_scale", shape: (4096, 128), dtype: float16
+
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 194/195 [01:52<00:00,  2.81it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 195/195 [01:52<00:00,  3.22it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 195/195 [01:52<00:00,  1.74it/s]
+[2024-04-18 15:38:07] INFO huggingface_loader.py:196: Unloading HF weight file: /models/Meta-Llama-3-8B-Instruct/model-00002-of-00004.safetensors
+[2024-04-18 15:38:08] INFO huggingface_loader.py:196: Unloading HF weight file: /models/Meta-Llama-3-8B-Instruct/model-00003-of-00004.safetensors
+[2024-04-18 15:38:08] INFO stats.py:76: Time usage: HF loading: 37.207 sec; Pre-quantization mapping: 54.459 sec; Quantization: 5.550 sec
+[2024-04-18 15:38:08] INFO stats.py:90: RAM usage: Peak RAM: 18.469 GB. Total bytes loaded from disk: 29.915 GB
+[2024-04-18 15:38:08] INFO convert_weight.py:156: Parameter size after quantization: 4.207 GB
+[2024-04-18 15:38:08] INFO convert_weight.py:161: Total parameters: 8,030,261,248
+[2024-04-18 15:38:08] INFO convert_weight.py:162: Bits per parameter: 4.500
+[2024-04-18 15:38:08] INFO convert_weight.py:167: Saved to directory: /tmp/tmpynj6558k
+
+All finished, 108 total shards committed, record saved to /tmp/tmpynj6558k/ndarray-cache.json