/home/cfruan/.conda/envs/mlc-source-311/bin/python -m mlc_chat gen_config /models/gemma-7b-it --quantization q0f16 --conv-template gemma_instruction --output /tmp/tmp2aw6bqmy --context-window-size 8192 --prefill-chunk-size 1024
[2024-02-21 23:28:16] INFO auto_config.py:115: Found model configuration: /models/gemma-7b-it/config.json
[2024-02-21 23:28:16] INFO auto_config.py:153: Found model type: gemma. Use `--model-type` to override.
[2024-02-21 23:28:16] INFO gemma_model.py:55: context_window_size not found in config.json. Falling back to max_position_embeddings (8192)
[2024-02-21 23:28:16] INFO gemma_model.py:70: prefill_chunk_size defaults to context_window_size (8192)
[2024-02-21 23:28:16] INFO config.py:106: Overriding context_window_size from 8192 to 8192
[2024-02-21 23:28:16] INFO config.py:106: Overriding prefill_chunk_size from 8192 to 1024
[2024-02-21 23:28:16] INFO config.py:106: Overriding max_batch_size from 1 to 80
[2024-02-21 23:28:16] INFO gen_config.py:121: [generation_config.json] Setting bos_token_id: 2
[2024-02-21 23:28:16] INFO gen_config.py:121: [generation_config.json] Setting eos_token_id: 1
[2024-02-21 23:28:16] INFO gen_config.py:121: [generation_config.json] Setting pad_token_id: 0
[2024-02-21 23:28:16] INFO gen_config.py:133: Found tokenizer config: /models/gemma-7b-it/tokenizer.model. Copying to /tmp/tmp2aw6bqmy/tokenizer.model
[2024-02-21 23:28:16] INFO gen_config.py:133: Found tokenizer config: /models/gemma-7b-it/tokenizer.json. Copying to /tmp/tmp2aw6bqmy/tokenizer.json
[2024-02-21 23:28:16] INFO gen_config.py:135: Not found tokenizer config: /models/gemma-7b-it/vocab.json
[2024-02-21 23:28:16] INFO gen_config.py:135: Not found tokenizer config: /models/gemma-7b-it/merges.txt
[2024-02-21 23:28:16] INFO gen_config.py:135: Not found tokenizer config: /models/gemma-7b-it/added_tokens.json
[2024-02-21 23:28:16] INFO gen_config.py:133: Found tokenizer config: /models/gemma-7b-it/tokenizer_config.json. Copying to /tmp/tmp2aw6bqmy/tokenizer_config.json
[2024-02-21 23:28:16] INFO gen_config.py:74: [System default] Setting temperature: 0.7
[2024-02-21 23:28:16] INFO gen_config.py:74: [System default] Setting presence_penalty: 0.0
[2024-02-21 23:28:16] INFO gen_config.py:74: [System default] Setting frequency_penalty: 0.0
[2024-02-21 23:28:16] INFO gen_config.py:74: [System default] Setting repetition_penalty: 1.0
[2024-02-21 23:28:16] INFO gen_config.py:74: [System default] Setting top_p: 0.95
[2024-02-21 23:28:16] INFO gen_config.py:74: [System default] Setting mean_gen_len: 128
[2024-02-21 23:28:16] INFO gen_config.py:74: [System default] Setting max_gen_len: 512
[2024-02-21 23:28:16] INFO gen_config.py:74: [System default] Setting shift_fill_factor: 0.3
[2024-02-21 23:28:16] INFO gen_config.py:186: Dumping configuration file to: /tmp/tmp2aw6bqmy/mlc-chat-config.json
/home/cfruan/.conda/envs/mlc-source-311/bin/python -m mlc_chat convert_weight /models/gemma-7b-it --quantization q0f16 --source-format auto --output /tmp/tmp2aw6bqmy
[2024-02-21 23:28:18] INFO auto_config.py:115: Found model configuration: /models/gemma-7b-it/config.json
[2024-02-21 23:28:19] INFO auto_device.py:76: Found device: cuda:0
[2024-02-21 23:28:19] INFO auto_device.py:76: Found device: cuda:1
[2024-02-21 23:28:20] INFO auto_device.py:85: Not found device: rocm:0
[2024-02-21 23:28:21] INFO auto_device.py:85: Not found device: metal:0
[2024-02-21 23:28:31] INFO auto_device.py:76: Found device: vulkan:0
[2024-02-21 23:28:31] INFO auto_device.py:76: Found device: vulkan:1
[2024-02-21 23:28:31] INFO auto_device.py:76: Found device: vulkan:2
[2024-02-21 23:28:33] INFO auto_device.py:85: Not found device: opencl:0
[2024-02-21 23:28:33] INFO auto_device.py:33: Using device: cuda:0
[2024-02-21 23:28:33] INFO auto_weight.py:70: Finding weights in: /models/gemma-7b-it
[2024-02-21 23:28:33] INFO auto_weight.py:136: Not found Huggingface PyTorch
[2024-02-21 23:28:33] INFO auto_weight.py:143: Found source weight format: huggingface-safetensor. Source configuration: /models/gemma-7b-it/model.safetensors.index.json
[2024-02-21 23:28:33] INFO auto_weight.py:106: Using source weight configuration: /models/gemma-7b-it/model.safetensors.index.json. Use `--source` to override.
[2024-02-21 23:28:33] INFO auto_weight.py:110: Using source weight format: huggingface-safetensor. Use `--source-format` to override.
[2024-02-21 23:28:33] INFO auto_config.py:153: Found model type: gemma. Use `--model-type` to override.
[2024-02-21 23:28:33] INFO gemma_model.py:55: context_window_size not found in config.json. Falling back to max_position_embeddings (8192)
[2024-02-21 23:28:33] INFO gemma_model.py:70: prefill_chunk_size defaults to context_window_size (8192)
Weight conversion with arguments:
  --config          /models/gemma-7b-it/config.json
  --quantization    NoQuantize(name='q0f16', kind='no-quant', model_dtype='float16')
  --model-type      gemma
  --device          cuda:0
  --source          /models/gemma-7b-it/model.safetensors.index.json
  --source-format   huggingface-safetensor
  --output          /tmp/tmp2aw6bqmy

  0%|                                                                                                                                                                                                                                                                  | 0/170 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:34] INFO huggingface_loader.py:182: Loading HF parameters from: /models/gemma-7b-it/model-00001-of-00004.safetensors

  0%|                                                                                                                                                                                                                                                                  | 0/170 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:49] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.embed_tokens.weight", shape: (256000, 3072), dtype: float16

  0%|                                                                                                                                                                                                                                                                  | 0/170 [00:14<?, ?it/s]
  1%|█▍                                                                                                                                                                                                                                                        | 1/170 [00:15<44:13, 15.70s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:50] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.0.input_layernorm.weight", shape: (3072,), dtype: float16

  1%|█▍                                                                                                                                                                                                                                                        | 1/170 [00:15<44:13, 15.70s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:50] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.0.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

  1%|█▍                                                                                                                                                                                                                                                        | 1/170 [00:16<44:13, 15.70s/it]
  2%|████▍                                                                                                                                                                                                                                                     | 3/170 [00:16<11:45,  4.23s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:51] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.0.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

  2%|████▍                                                                                                                                                                                                                                                     | 3/170 [00:16<11:45,  4.23s/it]
  2%|█████▉                                                                                                                                                                                                                                                    | 4/170 [00:17<08:37,  3.12s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:51] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.0.post_attention_layernorm.weight", shape: (3072,), dtype: float16

  2%|█████▉                                                                                                                                                                                                                                                    | 4/170 [00:17<08:37,  3.12s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:51] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.0.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

  2%|█████▉                                                                                                                                                                                                                                                    | 4/170 [00:17<08:37,  3.12s/it]
  4%|████████▊                                                                                                                                                                                                                                                 | 6/170 [00:17<04:28,  1.63s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:52] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.0.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

  4%|████████▊                                                                                                                                                                                                                                                 | 6/170 [00:17<04:28,  1.63s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:52] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.1.input_layernorm.weight", shape: (3072,), dtype: float16

  4%|████████▊                                                                                                                                                                                                                                                 | 6/170 [00:17<04:28,  1.63s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:52] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.1.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

  4%|████████▊                                                                                                                                                                                                                                                 | 6/170 [00:17<04:28,  1.63s/it]
  5%|█████████████▏                                                                                                                                                                                                                                            | 9/170 [00:17<02:21,  1.14it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:53] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.1.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

  5%|█████████████▏                                                                                                                                                                                                                                            | 9/170 [00:18<02:21,  1.14it/s]
  6%|██████████████▋                                                                                                                                                                                                                                          | 10/170 [00:18<02:25,  1.10it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:53] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.1.post_attention_layernorm.weight", shape: (3072,), dtype: float16

  6%|██████████████▋                                                                                                                                                                                                                                          | 10/170 [00:18<02:25,  1.10it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:53] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.1.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

  6%|██████████████▋                                                                                                                                                                                                                                          | 10/170 [00:19<02:25,  1.10it/s]
  7%|█████████████████▌                                                                                                                                                                                                                                       | 12/170 [00:19<01:39,  1.59it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:53] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.1.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

  7%|█████████████████▌                                                                                                                                                                                                                                       | 12/170 [00:19<01:39,  1.59it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:53] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.2.input_layernorm.weight", shape: (3072,), dtype: float16

  7%|█████████████████▌                                                                                                                                                                                                                                       | 12/170 [00:19<01:39,  1.59it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:54] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.2.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

  7%|█████████████████▌                                                                                                                                                                                                                                       | 12/170 [00:19<01:39,  1.59it/s]
  9%|█████████████████████▉                                                                                                                                                                                                                                   | 15/170 [00:19<01:06,  2.34it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:55] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.2.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

  9%|█████████████████████▉                                                                                                                                                                                                                                   | 15/170 [00:20<01:06,  2.34it/s]
  9%|███████████████████████▍                                                                                                                                                                                                                                 | 16/170 [00:20<01:21,  1.89it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:55] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.2.post_attention_layernorm.weight", shape: (3072,), dtype: float16

  9%|███████████████████████▍                                                                                                                                                                                                                                 | 16/170 [00:20<01:21,  1.89it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:55] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.2.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

  9%|███████████████████████▍                                                                                                                                                                                                                                 | 16/170 [00:20<01:21,  1.89it/s]
 11%|██████████████████████████▎                                                                                                                                                                                                                              | 18/170 [00:20<01:00,  2.51it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:55] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.2.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 11%|██████████████████████████▎                                                                                                                                                                                                                              | 18/170 [00:21<01:00,  2.51it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:55] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.3.input_layernorm.weight", shape: (3072,), dtype: float16

 11%|██████████████████████████▎                                                                                                                                                                                                                              | 18/170 [00:21<01:00,  2.51it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:55] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.3.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 11%|██████████████████████████▎                                                                                                                                                                                                                              | 18/170 [00:21<01:00,  2.51it/s]
 12%|██████████████████████████████▊                                                                                                                                                                                                                          | 21/170 [00:21<00:44,  3.33it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:56] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.3.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 12%|██████████████████████████████▊                                                                                                                                                                                                                          | 21/170 [00:22<00:44,  3.33it/s]
 13%|████████████████████████████████▏                                                                                                                                                                                                                        | 22/170 [00:22<01:02,  2.37it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:57] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.3.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 13%|████████████████████████████████▏                                                                                                                                                                                                                        | 22/170 [00:22<01:02,  2.37it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:57] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.3.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 13%|████████████████████████████████▏                                                                                                                                                                                                                        | 22/170 [00:22<01:02,  2.37it/s]
 14%|███████████████████████████████████▏                                                                                                                                                                                                                     | 24/170 [00:22<00:47,  3.04it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:57] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.3.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 14%|███████████████████████████████████▏                                                                                                                                                                                                                     | 24/170 [00:22<00:47,  3.04it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:57] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.4.input_layernorm.weight", shape: (3072,), dtype: float16

 14%|███████████████████████████████████▏                                                                                                                                                                                                                     | 24/170 [00:22<00:47,  3.04it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:57] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.4.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 14%|███████████████████████████████████▏                                                                                                                                                                                                                     | 24/170 [00:23<00:47,  3.04it/s]
 16%|███████████████████████████████████████▌                                                                                                                                                                                                                 | 27/170 [00:23<00:37,  3.82it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:58] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.4.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 16%|███████████████████████████████████████▌                                                                                                                                                                                                                 | 27/170 [00:24<00:37,  3.82it/s]
 16%|█████████████████████████████████████████                                                                                                                                                                                                                | 28/170 [00:24<00:55,  2.58it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:58] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.4.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 16%|█████████████████████████████████████████                                                                                                                                                                                                                | 28/170 [00:24<00:55,  2.58it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:59] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.4.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 16%|█████████████████████████████████████████                                                                                                                                                                                                                | 28/170 [00:24<00:55,  2.58it/s]
 18%|███████████████████████████████████████████▉                                                                                                                                                                                                             | 30/170 [00:24<00:43,  3.26it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:59] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.4.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 18%|███████████████████████████████████████████▉                                                                                                                                                                                                             | 30/170 [00:24<00:43,  3.26it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:59] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.5.input_layernorm.weight", shape: (3072,), dtype: float16

 18%|███████████████████████████████████████████▉                                                                                                                                                                                                             | 30/170 [00:24<00:43,  3.26it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:28:59] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.5.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 18%|███████████████████████████████████████████▉                                                                                                                                                                                                             | 30/170 [00:24<00:43,  3.26it/s]
 19%|████████████████████████████████████████████████▎                                                                                                                                                                                                        | 33/170 [00:25<00:34,  4.01it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:00] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.5.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 19%|████████████████████████████████████████████████▎                                                                                                                                                                                                        | 33/170 [00:25<00:34,  4.01it/s]
 20%|█████████████████████████████████████████████████▊                                                                                                                                                                                                       | 34/170 [00:26<00:51,  2.65it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:00] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.5.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 20%|█████████████████████████████████████████████████▊                                                                                                                                                                                                       | 34/170 [00:26<00:51,  2.65it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:00] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.5.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 20%|█████████████████████████████████████████████████▊                                                                                                                                                                                                       | 34/170 [00:26<00:51,  2.65it/s]
 21%|████████████████████████████████████████████████████▋                                                                                                                                                                                                    | 36/170 [00:26<00:40,  3.33it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:00] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.5.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 21%|████████████████████████████████████████████████████▋                                                                                                                                                                                                    | 36/170 [00:26<00:40,  3.33it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:01] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.6.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 21%|████████████████████████████████████████████████████▋                                                                                                                                                                                                    | 36/170 [00:26<00:40,  3.33it/s]
 22%|███████████████████████████████████████████████████████▋                                                                                                                                                                                                 | 38/170 [00:26<00:34,  3.88it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:01] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.6.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 22%|███████████████████████████████████████████████████████▋                                                                                                                                                                                                 | 38/170 [00:26<00:34,  3.88it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:01] INFO huggingface_loader.py:194: Unloading HF weight file: /models/gemma-7b-it/model-00001-of-00004.safetensors

 22%|███████████████████████████████████████████████████████▋                                                                                                                                                                                                 | 38/170 [00:26<00:34,  3.88it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:02] INFO huggingface_loader.py:182: Loading HF parameters from: /models/gemma-7b-it/model-00002-of-00004.safetensors

 22%|███████████████████████████████████████████████████████▋                                                                                                                                                                                                 | 38/170 [00:27<00:34,  3.88it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:11] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.10.input_layernorm.weight", shape: (3072,), dtype: float16

 22%|███████████████████████████████████████████████████████▋                                                                                                                                                                                                 | 38/170 [00:37<00:34,  3.88it/s]
 24%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 40/170 [00:37<03:56,  1.82s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:12] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.10.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 24%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 40/170 [00:37<03:56,  1.82s/it]
 24%|████████████████████████████████████████████████████████████                                                                                                                                                                                             | 41/170 [00:37<03:22,  1.57s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:13] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.10.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 24%|████████████████████████████████████████████████████████████                                                                                                                                                                                             | 41/170 [00:38<03:22,  1.57s/it]
 25%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                           | 42/170 [00:38<03:07,  1.46s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:13] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.10.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 25%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                           | 42/170 [00:38<03:07,  1.46s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:13] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.10.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 25%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                           | 42/170 [00:39<03:07,  1.46s/it]
 26%|████████████████████████████████████████████████████████████████▍                                                                                                                                                                                        | 44/170 [00:39<02:02,  1.03it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:13] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.10.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 26%|████████████████████████████████████████████████████████████████▍                                                                                                                                                                                        | 44/170 [00:39<02:02,  1.03it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:13] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.11.input_layernorm.weight", shape: (3072,), dtype: float16

 26%|████████████████████████████████████████████████████████████████▍                                                                                                                                                                                        | 44/170 [00:39<02:02,  1.03it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:14] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.11.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 26%|████████████████████████████████████████████████████████████████▍                                                                                                                                                                                        | 44/170 [00:39<02:02,  1.03it/s]
 28%|████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                    | 47/170 [00:39<01:15,  1.63it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:15] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.11.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 28%|████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                    | 47/170 [00:40<01:15,  1.63it/s]
 28%|██████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                  | 48/170 [00:40<01:23,  1.46it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:15] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.11.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 28%|██████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                  | 48/170 [00:40<01:23,  1.46it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:15] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.11.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 28%|██████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                  | 48/170 [00:40<01:23,  1.46it/s]
 29%|█████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 50/170 [00:40<01:00,  1.99it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:15] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.11.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 29%|█████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 50/170 [00:40<01:00,  1.99it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:15] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.12.input_layernorm.weight", shape: (3072,), dtype: float16

 29%|█████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 50/170 [00:40<01:00,  1.99it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:15] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.12.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 29%|█████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 50/170 [00:41<01:00,  1.99it/s]
 31%|█████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                           | 53/170 [00:41<00:42,  2.77it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:16] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.12.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 31%|█████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                           | 53/170 [00:42<00:42,  2.77it/s]
 32%|███████████████████████████████████████████████████████████████████████████████                                                                                                                                                                          | 54/170 [00:42<00:54,  2.12it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:16] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.12.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 32%|███████████████████████████████████████████████████████████████████████████████                                                                                                                                                                          | 54/170 [00:42<00:54,  2.12it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:17] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.12.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 32%|███████████████████████████████████████████████████████████████████████████████                                                                                                                                                                          | 54/170 [00:42<00:54,  2.12it/s]
 33%|██████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                       | 56/170 [00:42<00:41,  2.77it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:17] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.12.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 33%|██████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                       | 56/170 [00:42<00:41,  2.77it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:17] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.13.input_layernorm.weight", shape: (3072,), dtype: float16

 33%|██████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                       | 56/170 [00:42<00:41,  2.77it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:17] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.13.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 33%|██████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                       | 56/170 [00:43<00:41,  2.77it/s]
 35%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                  | 59/170 [00:43<00:31,  3.57it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:18] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.13.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 35%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                  | 59/170 [00:44<00:31,  3.57it/s]
 35%|███████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                 | 60/170 [00:44<00:44,  2.49it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:18] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.13.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 35%|███████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                 | 60/170 [00:44<00:44,  2.49it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:18] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.13.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 35%|███████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                 | 60/170 [00:44<00:44,  2.49it/s]
 36%|██████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                              | 62/170 [00:44<00:34,  3.16it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:19] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.13.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 36%|██████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                              | 62/170 [00:44<00:34,  3.16it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:19] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.14.input_layernorm.weight", shape: (3072,), dtype: float16

 36%|██████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                              | 62/170 [00:44<00:34,  3.16it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:19] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.14.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 36%|██████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                              | 62/170 [00:44<00:34,  3.16it/s]
 38%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                         | 65/170 [00:44<00:26,  3.93it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:20] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.14.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 38%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                         | 65/170 [00:45<00:26,  3.93it/s]
 39%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                        | 66/170 [00:45<00:39,  2.63it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:20] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.14.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 39%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                        | 66/170 [00:45<00:39,  2.63it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:20] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.14.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 39%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                        | 66/170 [00:46<00:39,  2.63it/s]
 40%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                     | 68/170 [00:46<00:30,  3.33it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:20] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.14.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 40%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                     | 68/170 [00:46<00:30,  3.33it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:21] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.15.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 40%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                     | 68/170 [00:46<00:30,  3.33it/s]
 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                  | 70/170 [00:46<00:25,  3.89it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:21] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.15.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                  | 70/170 [00:46<00:25,  3.89it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:21] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.6.input_layernorm.weight", shape: (3072,), dtype: float16

 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                  | 70/170 [00:46<00:25,  3.89it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:21] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.6.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                  | 70/170 [00:46<00:25,  3.89it/s]
 43%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                              | 73/170 [00:47<00:21,  4.57it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:22] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.6.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 43%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                              | 73/170 [00:47<00:21,  4.57it/s]
 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                            | 74/170 [00:48<00:33,  2.88it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:22] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.6.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                            | 74/170 [00:48<00:33,  2.88it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:22] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.7.input_layernorm.weight", shape: (3072,), dtype: float16

 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                            | 74/170 [00:48<00:33,  2.88it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:22] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.7.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                            | 74/170 [00:48<00:33,  2.88it/s]
 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                        | 77/170 [00:48<00:24,  3.80it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:23] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.7.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                        | 77/170 [00:49<00:24,  3.80it/s]
 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                      | 78/170 [00:49<00:35,  2.59it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:24] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.7.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                      | 78/170 [00:49<00:35,  2.59it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:24] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.7.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                      | 78/170 [00:49<00:35,  2.59it/s]
 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                   | 80/170 [00:49<00:27,  3.28it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:24] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.7.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                   | 80/170 [00:49<00:27,  3.28it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:24] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.8.input_layernorm.weight", shape: (3072,), dtype: float16

 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                   | 80/170 [00:49<00:27,  3.28it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:24] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.8.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                   | 80/170 [00:50<00:27,  3.28it/s]
 49%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                               | 83/170 [00:50<00:21,  4.05it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:25] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.8.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 49%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                               | 83/170 [00:51<00:21,  4.05it/s]
 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                              | 84/170 [00:51<00:32,  2.68it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:25] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.8.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                              | 84/170 [00:51<00:32,  2.68it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:26] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.8.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                              | 84/170 [00:51<00:32,  2.68it/s]
 51%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                           | 86/170 [00:51<00:24,  3.37it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:26] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.8.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 51%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                           | 86/170 [00:51<00:24,  3.37it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:26] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.9.input_layernorm.weight", shape: (3072,), dtype: float16

 51%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                           | 86/170 [00:51<00:24,  3.37it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:26] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.9.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 51%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                           | 86/170 [00:51<00:24,  3.37it/s]
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                      | 89/170 [00:52<00:19,  4.13it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:27] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.9.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                      | 89/170 [00:52<00:19,  4.13it/s]
 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 90/170 [00:53<00:29,  2.71it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:27] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.9.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 90/170 [00:53<00:29,  2.71it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:27] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.9.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 90/170 [00:53<00:29,  2.71it/s]
 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                  | 92/170 [00:53<00:22,  3.41it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:27] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.9.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                  | 92/170 [00:53<00:22,  3.41it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:27] INFO huggingface_loader.py:194: Unloading HF weight file: /models/gemma-7b-it/model-00002-of-00004.safetensors

 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                  | 92/170 [00:53<00:22,  3.41it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:28] INFO huggingface_loader.py:182: Loading HF parameters from: /models/gemma-7b-it/model-00003-of-00004.safetensors

 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                  | 92/170 [00:54<00:22,  3.41it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:38] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.15.input_layernorm.weight", shape: (3072,), dtype: float16

 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                  | 92/170 [01:03<00:22,  3.41it/s]
 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                               | 94/170 [01:03<02:20,  1.84s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:39] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.15.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                               | 94/170 [01:04<02:20,  1.84s/it]
 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                             | 95/170 [01:04<02:04,  1.66s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:41] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.15.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                             | 95/170 [01:06<02:04,  1.66s/it]
 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                            | 96/170 [01:06<02:10,  1.76s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:41] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.15.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                            | 96/170 [01:06<02:10,  1.76s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:41] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.16.input_layernorm.weight", shape: (3072,), dtype: float16

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                            | 96/170 [01:06<02:10,  1.76s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:41] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.16.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                            | 96/170 [01:07<02:10,  1.76s/it]
 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                        | 99/170 [01:07<01:12,  1.02s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:43] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.16.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                        | 99/170 [01:09<01:12,  1.02s/it]
 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                      | 100/170 [01:09<01:22,  1.18s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:43] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.16.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                      | 100/170 [01:09<01:22,  1.18s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:44] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.16.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                      | 100/170 [01:09<01:22,  1.18s/it]
 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                   | 102/170 [01:09<00:58,  1.17it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:44] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.16.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                   | 102/170 [01:09<00:58,  1.17it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:44] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.17.input_layernorm.weight", shape: (3072,), dtype: float16

 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                   | 102/170 [01:09<00:58,  1.17it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:44] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.17.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                   | 102/170 [01:10<00:58,  1.17it/s]
 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 105/170 [01:10<00:37,  1.73it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:46] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.17.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 105/170 [01:12<00:37,  1.73it/s]
 62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                             | 106/170 [01:12<00:52,  1.23it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:46] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.17.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                             | 106/170 [01:12<00:52,  1.23it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:47] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.17.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                             | 106/170 [01:12<00:52,  1.23it/s]
 64%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                          | 108/170 [01:12<00:38,  1.61it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:47] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.17.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 64%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                          | 108/170 [01:12<00:38,  1.61it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:47] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.18.input_layernorm.weight", shape: (3072,), dtype: float16

 64%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                          | 108/170 [01:12<00:38,  1.61it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:47] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.18.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 64%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                          | 108/170 [01:13<00:38,  1.61it/s]
 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                      | 111/170 [01:13<00:26,  2.21it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:49] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.18.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                      | 111/170 [01:15<00:26,  2.21it/s]
 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                    | 112/170 [01:15<00:40,  1.42it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:49] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.18.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                    | 112/170 [01:15<00:40,  1.42it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:50] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.18.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                    | 112/170 [01:15<00:40,  1.42it/s]
 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                 | 114/170 [01:15<00:31,  1.79it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:50] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.18.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                 | 114/170 [01:15<00:31,  1.79it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:50] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.19.input_layernorm.weight", shape: (3072,), dtype: float16

 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                 | 114/170 [01:15<00:31,  1.79it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:51] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.19.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                 | 114/170 [01:16<00:31,  1.79it/s]
 69%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                             | 117/170 [01:16<00:22,  2.40it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:53] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.19.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 69%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                             | 117/170 [01:18<00:22,  2.40it/s]
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                           | 118/170 [01:18<00:37,  1.38it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:53] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.19.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                           | 118/170 [01:18<00:37,  1.38it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:53] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.19.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                           | 118/170 [01:19<00:37,  1.38it/s]
 71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 120/170 [01:19<00:28,  1.74it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:53] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.19.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 120/170 [01:19<00:28,  1.74it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:53] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.20.input_layernorm.weight", shape: (3072,), dtype: float16

 71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 120/170 [01:19<00:28,  1.74it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:54] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.20.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 120/170 [01:19<00:28,  1.74it/s]
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                    | 123/170 [01:19<00:19,  2.38it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:56] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.20.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                    | 123/170 [01:22<00:19,  2.38it/s]
 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                   | 124/170 [01:22<00:33,  1.36it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:56] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.20.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                   | 124/170 [01:22<00:33,  1.36it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:57] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.20.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                   | 124/170 [01:22<00:33,  1.36it/s]
 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 126/170 [01:22<00:25,  1.74it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:57] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.20.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 126/170 [01:22<00:25,  1.74it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:57] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.21.input_layernorm.weight", shape: (3072,), dtype: float16

 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 126/170 [01:22<00:25,  1.74it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:57] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.21.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 126/170 [01:23<00:25,  1.74it/s]
 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                           | 129/170 [01:23<00:17,  2.38it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:29:59] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.21.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                           | 129/170 [01:25<00:17,  2.38it/s]
 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                          | 130/170 [01:25<00:28,  1.40it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:00] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.21.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                          | 130/170 [01:25<00:28,  1.40it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:00] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.21.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                          | 130/170 [01:26<00:28,  1.40it/s]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 132/170 [01:26<00:21,  1.79it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:00] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.21.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 132/170 [01:26<00:21,  1.79it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:00] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.22.input_layernorm.weight", shape: (3072,), dtype: float16

 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 132/170 [01:26<00:21,  1.79it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:01] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.22.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 132/170 [01:26<00:21,  1.79it/s]
 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                   | 135/170 [01:26<00:14,  2.45it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:03] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.22.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                   | 135/170 [01:28<00:14,  2.45it/s]
 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                 | 136/170 [01:28<00:23,  1.47it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:03] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.22.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                 | 136/170 [01:28<00:23,  1.47it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:03] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.22.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                 | 136/170 [01:29<00:23,  1.47it/s]
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                              | 138/170 [01:29<00:17,  1.87it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:03] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.22.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                              | 138/170 [01:29<00:17,  1.87it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:03] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.23.input_layernorm.weight", shape: (3072,), dtype: float16

 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                              | 138/170 [01:29<00:17,  1.87it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:04] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.23.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                              | 138/170 [01:29<00:17,  1.87it/s]
 83%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 141/170 [01:29<00:11,  2.54it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:06] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.23.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 83%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 141/170 [01:31<00:11,  2.54it/s]
 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                        | 142/170 [01:31<00:18,  1.50it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:06] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.23.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                        | 142/170 [01:31<00:18,  1.50it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:06] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.23.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                        | 142/170 [01:32<00:18,  1.50it/s]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                      | 144/170 [01:32<00:13,  1.92it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:06] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.23.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                      | 144/170 [01:32<00:13,  1.92it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:07] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.24.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                      | 144/170 [01:32<00:13,  1.92it/s]
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                   | 146/170 [01:32<00:10,  2.33it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:07] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.24.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                   | 146/170 [01:32<00:10,  2.33it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:07] INFO huggingface_loader.py:194: Unloading HF weight file: /models/gemma-7b-it/model-00003-of-00004.safetensors

 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                   | 146/170 [01:32<00:10,  2.33it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:07] INFO huggingface_loader.py:182: Loading HF parameters from: /models/gemma-7b-it/model-00004-of-00004.safetensors

 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                   | 146/170 [01:33<00:10,  2.33it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:12] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.24.input_layernorm.weight", shape: (3072,), dtype: float16

 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                   | 146/170 [01:37<00:10,  2.33it/s]
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                | 148/170 [01:37<00:23,  1.05s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:12] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.24.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                | 148/170 [01:38<00:23,  1.05s/it]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 149/170 [01:38<00:20,  1.03it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:16] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.24.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 149/170 [01:41<00:20,  1.03it/s]
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                             | 150/170 [01:41<00:30,  1.53s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:16] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.24.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                             | 150/170 [01:41<00:30,  1.53s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:16] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.25.input_layernorm.weight", shape: (3072,), dtype: float16

 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                             | 150/170 [01:41<00:30,  1.53s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:16] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.25.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                             | 150/170 [01:42<00:30,  1.53s/it]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                        | 153/170 [01:42<00:14,  1.14it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:19] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.25.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                        | 153/170 [01:44<00:14,  1.14it/s]
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                       | 154/170 [01:44<00:19,  1.20s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:19] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.25.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                       | 154/170 [01:44<00:19,  1.20s/it]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:19] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.25.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                       | 154/170 [01:45<00:19,  1.20s/it]
 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 156/170 [01:45<00:11,  1.20it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:19] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.25.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 156/170 [01:45<00:11,  1.20it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:19] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.26.input_layernorm.weight", shape: (3072,), dtype: float16

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 156/170 [01:45<00:11,  1.20it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:20] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.26.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 156/170 [01:45<00:11,  1.20it/s]
 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                | 159/170 [01:45<00:06,  1.81it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:22] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.26.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                | 159/170 [01:48<00:06,  1.81it/s]
 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 160/170 [01:48<00:09,  1.10it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:22] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.26.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 160/170 [01:48<00:09,  1.10it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:23] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.26.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 160/170 [01:48<00:09,  1.10it/s]
 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 162/170 [01:48<00:05,  1.52it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:23] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.26.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 162/170 [01:48<00:05,  1.52it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:23] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.27.input_layernorm.weight", shape: (3072,), dtype: float16

 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 162/170 [01:48<00:05,  1.52it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:23] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.27.mlp.down_proj.weight", shape: (3072, 24576), dtype: float16

 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 162/170 [01:49<00:05,  1.52it/s]
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 165/170 [01:49<00:02,  2.20it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:25] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.27.mlp.gate_up_proj.weight", shape: (49152, 3072), dtype: float16

 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 165/170 [01:51<00:02,  2.20it/s]
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 166/170 [01:51<00:02,  1.35it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:25] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.27.post_attention_layernorm.weight", shape: (3072,), dtype: float16

 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 166/170 [01:51<00:02,  1.35it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:26] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.27.self_attn.qkv_proj.weight", shape: (12288, 3072), dtype: float16

 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 166/170 [01:51<00:02,  1.35it/s]
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 168/170 [01:51<00:01,  1.82it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:26] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.27.self_attn.o_proj.weight", shape: (3072, 4096), dtype: float16

 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 168/170 [01:51<00:01,  1.82it/s]
                                                                                                                                                                                                                                                                                               
[2024-02-21 23:30:26] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.norm.weight", shape: (3072,), dtype: float16

 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 168/170 [01:51<00:01,  1.82it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 170/170 [01:51<00:00,  1.52it/s]
[2024-02-21 23:30:26] INFO huggingface_loader.py:194: Unloading HF weight file: /models/gemma-7b-it/model-00004-of-00004.safetensors
[2024-02-21 23:30:26] INFO stats.py:76: Time usage: HF loading: 37.572 sec; Pre-quantization mapping: 61.186 sec; Quantization: 0.000 sec
[2024-02-21 23:30:26] INFO stats.py:90: RAM usage: Peak RAM: 9.305 GB. Total bytes loaded from disk: 31.805 GB
[2024-02-21 23:30:26] INFO convert_weight.py:132: Parameter size after quantization: 15.903 GB
[2024-02-21 23:30:26] INFO convert_weight.py:137: Total parameters: 8,537,680,896
[2024-02-21 23:30:26] INFO convert_weight.py:138: Bits per parameter: 16.000
Start storing to cache /tmp/tmp2aw6bqmy


[0001/0170] saving model.embed_tokens.weight
                                            
[0002/0170] saving model.layers.0.input_layernorm.weight
                                                        
[0003/0170] saving model.layers.0.mlp.down_proj.weight
                                                        
[0004/0170] saving model.layers.0.mlp.gate_up_proj.weight
                                                         
[0005/0170] saving model.layers.0.post_attention_layernorm.weight
                                                                 
[0006/0170] saving model.layers.0.self_attn.qkv_proj.weight
                                                                 
[0007/0170] saving model.layers.0.self_attn.o_proj.weight
                                                                 
[0008/0170] saving model.layers.1.input_layernorm.weight
                                                                 
[0009/0170] saving model.layers.1.mlp.down_proj.weight
                                                                 
[0010/0170] saving model.layers.1.mlp.gate_up_proj.weight
                                                                 
[0011/0170] saving model.layers.1.post_attention_layernorm.weight
                                                                 
[0012/0170] saving model.layers.1.self_attn.qkv_proj.weight
                                                                 
[0013/0170] saving model.layers.1.self_attn.o_proj.weight
                                                                 
[0014/0170] saving model.layers.2.input_layernorm.weight
                                                                 
[0015/0170] saving model.layers.2.mlp.down_proj.weight
                                                                 
[0016/0170] saving model.layers.2.mlp.gate_up_proj.weight
                                                                 
[0017/0170] saving model.layers.2.post_attention_layernorm.weight
                                                                 
[0018/0170] saving model.layers.2.self_attn.qkv_proj.weight
                                                                 
[0019/0170] saving model.layers.2.self_attn.o_proj.weight
                                                                 
[0020/0170] saving model.layers.3.input_layernorm.weight
                                                                 
[0021/0170] saving model.layers.3.mlp.down_proj.weight
                                                                 
[0022/0170] saving model.layers.3.mlp.gate_up_proj.weight
                                                                 
[0023/0170] saving model.layers.3.post_attention_layernorm.weight
                                                                 
[0024/0170] saving model.layers.3.self_attn.qkv_proj.weight
                                                                 
[0025/0170] saving model.layers.3.self_attn.o_proj.weight
                                                                 
[0026/0170] saving model.layers.4.input_layernorm.weight
                                                                 
[0027/0170] saving model.layers.4.mlp.down_proj.weight
                                                                 
[0028/0170] saving model.layers.4.mlp.gate_up_proj.weight
                                                                 
[0029/0170] saving model.layers.4.post_attention_layernorm.weight
                                                                 
[0030/0170] saving model.layers.4.self_attn.qkv_proj.weight
                                                                 
[0031/0170] saving model.layers.4.self_attn.o_proj.weight
                                                                 
[0032/0170] saving model.layers.5.input_layernorm.weight
                                                                 
[0033/0170] saving model.layers.5.mlp.down_proj.weight
                                                                 
[0034/0170] saving model.layers.5.mlp.gate_up_proj.weight
                                                                 
[0035/0170] saving model.layers.5.post_attention_layernorm.weight
                                                                 
[0036/0170] saving model.layers.5.self_attn.qkv_proj.weight
                                                                 
[0037/0170] saving model.layers.5.self_attn.o_proj.weight
                                                                 
[0038/0170] saving model.layers.6.self_attn.qkv_proj.weight
                                                                 
[0039/0170] saving model.layers.6.self_attn.o_proj.weight
                                                                 
[0040/0170] saving model.layers.10.input_layernorm.weight
                                                                 
[0041/0170] saving model.layers.10.mlp.down_proj.weight
                                                                 
[0042/0170] saving model.layers.10.mlp.gate_up_proj.weight
                                                                 
[0043/0170] saving model.layers.10.post_attention_layernorm.weight
                                                                  
[0044/0170] saving model.layers.10.self_attn.qkv_proj.weight
                                                                  
[0045/0170] saving model.layers.10.self_attn.o_proj.weight
                                                                  
[0046/0170] saving model.layers.11.input_layernorm.weight
                                                                  
[0047/0170] saving model.layers.11.mlp.down_proj.weight
                                                                  
[0048/0170] saving model.layers.11.mlp.gate_up_proj.weight
                                                                  
[0049/0170] saving model.layers.11.post_attention_layernorm.weight
                                                                  
[0050/0170] saving model.layers.11.self_attn.qkv_proj.weight
                                                                  
[0051/0170] saving model.layers.11.self_attn.o_proj.weight
                                                                  
[0052/0170] saving model.layers.12.input_layernorm.weight
                                                                  
[0053/0170] saving model.layers.12.mlp.down_proj.weight
                                                                  
[0054/0170] saving model.layers.12.mlp.gate_up_proj.weight
                                                                  
[0055/0170] saving model.layers.12.post_attention_layernorm.weight
                                                                  
[0056/0170] saving model.layers.12.self_attn.qkv_proj.weight
                                                                  
[0057/0170] saving model.layers.12.self_attn.o_proj.weight
                                                                  
[0058/0170] saving model.layers.13.input_layernorm.weight
                                                                  
[0059/0170] saving model.layers.13.mlp.down_proj.weight
                                                                  
[0060/0170] saving model.layers.13.mlp.gate_up_proj.weight
                                                                  
[0061/0170] saving model.layers.13.post_attention_layernorm.weight
                                                                  
[0062/0170] saving model.layers.13.self_attn.qkv_proj.weight
                                                                  
[0063/0170] saving model.layers.13.self_attn.o_proj.weight
                                                                  
[0064/0170] saving model.layers.14.input_layernorm.weight
                                                                  
[0065/0170] saving model.layers.14.mlp.down_proj.weight
                                                                  
[0066/0170] saving model.layers.14.mlp.gate_up_proj.weight
                                                                  
[0067/0170] saving model.layers.14.post_attention_layernorm.weight
                                                                  
[0068/0170] saving model.layers.14.self_attn.qkv_proj.weight
                                                                  
[0069/0170] saving model.layers.14.self_attn.o_proj.weight
                                                                  
[0070/0170] saving model.layers.15.self_attn.qkv_proj.weight
                                                                  
[0071/0170] saving model.layers.15.self_attn.o_proj.weight
                                                                  
[0072/0170] saving model.layers.6.input_layernorm.weight
                                                                  
[0073/0170] saving model.layers.6.mlp.down_proj.weight
                                                                  
[0074/0170] saving model.layers.6.mlp.gate_up_proj.weight
                                                                  
[0075/0170] saving model.layers.6.post_attention_layernorm.weight
                                                                  
[0076/0170] saving model.layers.7.input_layernorm.weight
                                                                  
[0077/0170] saving model.layers.7.mlp.down_proj.weight
                                                                  
[0078/0170] saving model.layers.7.mlp.gate_up_proj.weight
                                                                  
[0079/0170] saving model.layers.7.post_attention_layernorm.weight
                                                                  
[0080/0170] saving model.layers.7.self_attn.qkv_proj.weight
                                                                  
[0081/0170] saving model.layers.7.self_attn.o_proj.weight
                                                                  
[0082/0170] saving model.layers.8.input_layernorm.weight
                                                                  
[0083/0170] saving model.layers.8.mlp.down_proj.weight
                                                                  
[0084/0170] saving model.layers.8.mlp.gate_up_proj.weight
                                                                  
[0085/0170] saving model.layers.8.post_attention_layernorm.weight
                                                                  
[0086/0170] saving model.layers.8.self_attn.qkv_proj.weight
                                                                  
[0087/0170] saving model.layers.8.self_attn.o_proj.weight
                                                                  
[0088/0170] saving model.layers.9.input_layernorm.weight
                                                                  
[0089/0170] saving model.layers.9.mlp.down_proj.weight
                                                                  
[0090/0170] saving model.layers.9.mlp.gate_up_proj.weight
                                                                  
[0091/0170] saving model.layers.9.post_attention_layernorm.weight
                                                                  
[0092/0170] saving model.layers.9.self_attn.qkv_proj.weight
                                                                  
[0093/0170] saving model.layers.9.self_attn.o_proj.weight
                                                                  
[0094/0170] saving model.layers.15.input_layernorm.weight
                                                                  
[0095/0170] saving model.layers.15.mlp.down_proj.weight
                                                                  
[0096/0170] saving model.layers.15.mlp.gate_up_proj.weight
                                                                  
[0097/0170] saving model.layers.15.post_attention_layernorm.weight
                                                                  
[0098/0170] saving model.layers.16.input_layernorm.weight
                                                                  
[0099/0170] saving model.layers.16.mlp.down_proj.weight
                                                                  
[0100/0170] saving model.layers.16.mlp.gate_up_proj.weight
                                                                  
[0101/0170] saving model.layers.16.post_attention_layernorm.weight
                                                                  
[0102/0170] saving model.layers.16.self_attn.qkv_proj.weight
                                                                  
[0103/0170] saving model.layers.16.self_attn.o_proj.weight
                                                                  
[0104/0170] saving model.layers.17.input_layernorm.weight
                                                                  
[0105/0170] saving model.layers.17.mlp.down_proj.weight
                                                                  
[0106/0170] saving model.layers.17.mlp.gate_up_proj.weight
                                                                  
[0107/0170] saving model.layers.17.post_attention_layernorm.weight
                                                                  
[0108/0170] saving model.layers.17.self_attn.qkv_proj.weight
                                                                  
[0109/0170] saving model.layers.17.self_attn.o_proj.weight
                                                                  
[0110/0170] saving model.layers.18.input_layernorm.weight
                                                                  
[0111/0170] saving model.layers.18.mlp.down_proj.weight
                                                                  
[0112/0170] saving model.layers.18.mlp.gate_up_proj.weight
                                                                  
[0113/0170] saving model.layers.18.post_attention_layernorm.weight
                                                                  
[0114/0170] saving model.layers.18.self_attn.qkv_proj.weight
                                                                  
[0115/0170] saving model.layers.18.self_attn.o_proj.weight
                                                                  
[0116/0170] saving model.layers.19.input_layernorm.weight
                                                                  
[0117/0170] saving model.layers.19.mlp.down_proj.weight
                                                                  
[0118/0170] saving model.layers.19.mlp.gate_up_proj.weight
                                                                  
[0119/0170] saving model.layers.19.post_attention_layernorm.weight
                                                                  
[0120/0170] saving model.layers.19.self_attn.qkv_proj.weight
                                                                  
[0121/0170] saving model.layers.19.self_attn.o_proj.weight
                                                                  
[0122/0170] saving model.layers.20.input_layernorm.weight
                                                                  
[0123/0170] saving model.layers.20.mlp.down_proj.weight
                                                                  
[0124/0170] saving model.layers.20.mlp.gate_up_proj.weight
                                                                  
[0125/0170] saving model.layers.20.post_attention_layernorm.weight
                                                                  
[0126/0170] saving model.layers.20.self_attn.qkv_proj.weight
                                                                  
[0127/0170] saving model.layers.20.self_attn.o_proj.weight
                                                                  
[0128/0170] saving model.layers.21.input_layernorm.weight
                                                                  
[0129/0170] saving model.layers.21.mlp.down_proj.weight[2024-02-21 23:31:13] INFO convert_weight.py:154: Saved to directory: /tmp/tmp2aw6bqmy

                                                                  
[0130/0170] saving model.layers.21.mlp.gate_up_proj.weight
                                                                  
[0131/0170] saving model.layers.21.post_attention_layernorm.weight
                                                                  
[0132/0170] saving model.layers.21.self_attn.qkv_proj.weight
                                                                  
[0133/0170] saving model.layers.21.self_attn.o_proj.weight
                                                                  
[0134/0170] saving model.layers.22.input_layernorm.weight
                                                                  
[0135/0170] saving model.layers.22.mlp.down_proj.weight
                                                                  
[0136/0170] saving model.layers.22.mlp.gate_up_proj.weight
                                                                  
[0137/0170] saving model.layers.22.post_attention_layernorm.weight
                                                                  
[0138/0170] saving model.layers.22.self_attn.qkv_proj.weight
                                                                  
[0139/0170] saving model.layers.22.self_attn.o_proj.weight
                                                                  
[0140/0170] saving model.layers.23.input_layernorm.weight
                                                                  
[0141/0170] saving model.layers.23.mlp.down_proj.weight
                                                                  
[0142/0170] saving model.layers.23.mlp.gate_up_proj.weight
                                                                  
[0143/0170] saving model.layers.23.post_attention_layernorm.weight
                                                                  
[0144/0170] saving model.layers.23.self_attn.qkv_proj.weight
                                                                  
[0145/0170] saving model.layers.23.self_attn.o_proj.weight
                                                                  
[0146/0170] saving model.layers.24.self_attn.qkv_proj.weight
                                                                  
[0147/0170] saving model.layers.24.self_attn.o_proj.weight
                                                                  
[0148/0170] saving model.layers.24.input_layernorm.weight
                                                                  
[0149/0170] saving model.layers.24.mlp.down_proj.weight
                                                                  
[0150/0170] saving model.layers.24.mlp.gate_up_proj.weight
                                                                  
[0151/0170] saving model.layers.24.post_attention_layernorm.weight
                                                                  
[0152/0170] saving model.layers.25.input_layernorm.weight
                                                                  
[0153/0170] saving model.layers.25.mlp.down_proj.weight
                                                                  
[0154/0170] saving model.layers.25.mlp.gate_up_proj.weight
                                                                  
[0155/0170] saving model.layers.25.post_attention_layernorm.weight
                                                                  
[0156/0170] saving model.layers.25.self_attn.qkv_proj.weight
                                                                  
[0157/0170] saving model.layers.25.self_attn.o_proj.weight
                                                                  
[0158/0170] saving model.layers.26.input_layernorm.weight
                                                                  
[0159/0170] saving model.layers.26.mlp.down_proj.weight
                                                                  
[0160/0170] saving model.layers.26.mlp.gate_up_proj.weight
                                                                  
[0161/0170] saving model.layers.26.post_attention_layernorm.weight
                                                                  
[0162/0170] saving model.layers.26.self_attn.qkv_proj.weight
                                                                  
[0163/0170] saving model.layers.26.self_attn.o_proj.weight
                                                                  
[0164/0170] saving model.layers.27.input_layernorm.weight
                                                                  
[0165/0170] saving model.layers.27.mlp.down_proj.weight
                                                                  
[0166/0170] saving model.layers.27.mlp.gate_up_proj.weight
                                                                  
[0167/0170] saving model.layers.27.post_attention_layernorm.weight
                                                                  
[0168/0170] saving model.layers.27.self_attn.qkv_proj.weight
                                                                  
[0169/0170] saving model.layers.27.self_attn.o_proj.weight
                                                                  
[0170/0170] saving model.norm.weight
All finished, 113 total shards committed, record saved to /tmp/tmp2aw6bqmy/ndarray-cache.json