Training in progress epoch 5

README.md

@@ -78,6 +78,30 @@ The following `bitsandbytes` quantization config was used during training:
 - bnb_4bit_use_double_quant: False
 - bnb_4bit_compute_dtype: float32
 
+The following `bitsandbytes` quantization config was used during training:
+- quant_method: bitsandbytes
+- load_in_8bit: True
+- load_in_4bit: False
+- llm_int8_threshold: 6.0
+- llm_int8_skip_modules: None
+- llm_int8_enable_fp32_cpu_offload: False
+- llm_int8_has_fp16_weight: False
+- bnb_4bit_quant_type: fp4
+- bnb_4bit_use_double_quant: False
+- bnb_4bit_compute_dtype: float32
+
+The following `bitsandbytes` quantization config was used during training:
+- quant_method: bitsandbytes
+- load_in_8bit: True
+- load_in_4bit: False
+- llm_int8_threshold: 6.0
+- llm_int8_skip_modules: None
+- llm_int8_enable_fp32_cpu_offload: False
+- llm_int8_has_fp16_weight: False
+- bnb_4bit_quant_type: fp4
+- bnb_4bit_use_double_quant: False
+- bnb_4bit_compute_dtype: float32
+
 The following `bitsandbytes` quantization config was used during training:
 - quant_method: bitsandbytes
 - load_in_8bit: True
@@ -110,6 +134,8 @@ The following `bitsandbytes` quantization config was used during training:
 - PEFT 0.5.0
 - PEFT 0.5.0
 - PEFT 0.5.0
+- PEFT 0.5.0
+- PEFT 0.5.0
 
 - PEFT 0.5.0.dev0
  `bitsandbytes` quantization config was used during training:

Whisper PEFT Fine-Tuning/events.out.tfevents.1696436338.MLbox.300106.0

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c2dddb1233638c384a06f7e03049f7f2ee00a975c82118ba38a499608ecb2599
-size 5227
+oid sha256:cde055cfd23803fa06603cabd1fb7bb658a41e02d4891fa61ce637c03ba5d3f7
+size 5386

best_checkpoint/README.md

@@ -412,6 +412,18 @@ The following `bitsandbytes` quantization config was used during training:
 - bnb_4bit_use_double_quant: False
 - bnb_4bit_compute_dtype: float32
 
+The following `bitsandbytes` quantization config was used during training:
+- quant_method: bitsandbytes
+- load_in_8bit: True
+- load_in_4bit: False
+- llm_int8_threshold: 6.0
+- llm_int8_skip_modules: None
+- llm_int8_enable_fp32_cpu_offload: False
+- llm_int8_has_fp16_weight: False
+- bnb_4bit_quant_type: fp4
+- bnb_4bit_use_double_quant: False
+- bnb_4bit_compute_dtype: float32
+
 The following `bitsandbytes` quantization config was used during training:
 - quant_method: bitsandbytes
 - load_in_8bit: True
@@ -459,5 +471,6 @@ The following `bitsandbytes` quantization config was used during training:
 - PEFT 0.5.0
 - PEFT 0.5.0
 - PEFT 0.5.0
+- PEFT 0.5.0
 
 - PEFT 0.5.0

best_checkpoint/adapter_config.json

@@ -73,7 +73,7 @@
       false,
       false,
       false,
-      false,
+      true,
       true,
       true
     ],
@@ -102,7 +102,7 @@
       true,
       true,
       true,
-      false,
+      true,
       true
     ],
     "model.decoder.layers.0.self_attn.k_proj.lora_E": [
@@ -215,7 +215,7 @@
       false,
       false,
       false,
-      true
+      false
     ],
     "model.decoder.layers.1.fc1.lora_E": [
       true,
@@ -411,7 +411,7 @@
       true,
       false,
       false,
-      false
+      true
     ],
     "model.decoder.layers.10.self_attn.q_proj.lora_E": [
       false,
@@ -504,7 +504,7 @@
       true,
       true,
       true,
-      false,
+      true,
       true,
       true,
       true,
@@ -550,7 +550,7 @@
       false,
       false,
       false,
-      false,
+      true,
       true
     ],
     "model.decoder.layers.11.self_attn.q_proj.lora_E": [
@@ -574,7 +574,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false,
       false,
       false,
@@ -641,7 +641,7 @@
       true,
       true,
       true,
-      false,
+      true,
       true,
       true,
       true,
@@ -666,7 +666,7 @@
       true
     ],
     "model.decoder.layers.12.self_attn.k_proj.lora_E": [
-      false,
+      true,
       false,
       false,
       false,
@@ -683,14 +683,14 @@
       false,
       false,
       false,
-      true,
       false,
       false,
       false,
       false,
-      true,
       false,
+      true,
       false,
+      true,
       false
     ],
     "model.decoder.layers.12.self_attn.q_proj.lora_E": [
@@ -747,7 +747,7 @@
       false,
       false,
       false,
-      true
+      false
     ],
     "model.decoder.layers.13.encoder_attn.q_proj.lora_E": [
       false,
@@ -770,9 +770,9 @@
       false,
       true,
       true,
-      false,
       true,
       false,
+      false,
       true,
       true,
       true
@@ -823,8 +823,8 @@
       false,
       false,
       true,
-      true,
       false,
+      true,
       false,
       true,
       false,
@@ -962,7 +962,7 @@
     "model.decoder.layers.14.self_attn.out_proj.lora_E": [
       false,
       true,
-      false,
+      true,
       true,
       false,
       false,
@@ -1108,7 +1108,7 @@
       true,
       true,
       false,
-      false,
+      true,
       false,
       false,
       true
@@ -1135,8 +1135,8 @@
       true,
       false,
       false,
-      false,
-      false,
+      true,
+      true,
       true,
       true,
       false
@@ -1157,12 +1157,12 @@
     ],
     "model.decoder.layers.16.encoder_attn.out_proj.lora_E": [
       false,
-      false,
+      true,
       false,
       false,
       false,
       true,
-      false,
+      true,
       false,
       false,
       false,
@@ -1181,7 +1181,7 @@
       false,
       false,
       false,
-      true
+      false
     ],
     "model.decoder.layers.16.encoder_attn.v_proj.lora_E": [
       true,
@@ -1221,7 +1221,7 @@
       true,
       true,
       true,
-      false,
+      true,
       true,
       true
     ],
@@ -1272,7 +1272,7 @@
       true,
       true,
       true,
-      false,
+      true,
       true,
       true,
       true,
@@ -1296,7 +1296,7 @@
       false
     ],
     "model.decoder.layers.17.encoder_attn.out_proj.lora_E": [
-      true,
+      false,
       false,
       true,
       false,
@@ -1306,7 +1306,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false
     ],
     "model.decoder.layers.17.encoder_attn.q_proj.lora_E": [
@@ -1329,7 +1329,7 @@
       true,
       true,
       true,
-      false,
+      true,
       true,
       true,
       true,
@@ -1375,7 +1375,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false,
       false
     ],
@@ -1461,7 +1461,7 @@
       false,
       false,
       false,
-      true
+      false
     ],
     "model.decoder.layers.18.encoder_attn.v_proj.lora_E": [
       true,
@@ -1471,7 +1471,7 @@
       true,
       true,
       true,
-      false,
+      true,
       true,
       true,
       true,
@@ -1503,7 +1503,7 @@
       true,
       true,
       false,
-      false
+      true
     ],
     "model.decoder.layers.18.self_attn.k_proj.lora_E": [
       false,
@@ -1521,7 +1521,7 @@
     ],
     "model.decoder.layers.18.self_attn.out_proj.lora_E": [
       true,
-      true,
+      false,
       true,
       false,
       true,
@@ -1552,7 +1552,7 @@
       false,
       true,
       false,
-      false,
+      true,
       true,
       false,
       false,
@@ -1610,7 +1610,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       false,
       false,
@@ -1656,19 +1656,19 @@
       false,
       false,
       false,
-      false,
+      true,
       false
     ],
     "model.decoder.layers.19.self_attn.out_proj.lora_E": [
       true,
       false,
       false,
-      false,
+      true,
       false,
       true,
       false,
       false,
-      true,
+      false,
       true,
       false,
       false
@@ -1726,7 +1726,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false
     ],
     "model.decoder.layers.2.encoder_attn.q_proj.lora_E": [
@@ -1810,7 +1810,7 @@
       false,
       true,
       true,
-      false,
+      true,
       false
     ],
     "model.decoder.layers.2.self_attn.q_proj.lora_E": [
@@ -1861,9 +1861,9 @@
       false,
       true,
       true,
+      false,
       true,
-      true,
-      true,
+      false,
       true,
       true,
       true,
@@ -1922,11 +1922,11 @@
       true,
       true,
       true,
-      true,
+      false,
       true
     ],
     "model.decoder.layers.20.self_attn.k_proj.lora_E": [
-      false,
+      true,
       true,
       true,
       true,
@@ -2136,7 +2136,7 @@
       false
     ],
     "model.decoder.layers.22.encoder_attn.out_proj.lora_E": [
-      true,
+      false,
       true,
       false,
       true,
@@ -2220,15 +2220,15 @@
       false
     ],
     "model.decoder.layers.22.self_attn.out_proj.lora_E": [
-      false,
-      false,
       false,
       true,
       false,
+      true,
       false,
       true,
       false,
       true,
+      true,
       false,
       true,
       false
@@ -2258,8 +2258,8 @@
       true,
       true,
       false,
-      true,
-      false
+      false,
+      true
     ],
     "model.decoder.layers.23.encoder_attn.k_proj.lora_E": [
       false,
@@ -2349,13 +2349,13 @@
       false,
       false,
       false,
-      false,
+      true,
       true,
       false,
       false,
       true,
       false,
-      false,
+      true,
       false,
       true
     ],
@@ -2364,7 +2364,7 @@
       true,
       true,
       true,
-      false,
+      true,
       false,
       false,
       true,
@@ -2395,9 +2395,9 @@
       true,
       false,
       true,
-      false,
       true,
-      false,
+      true,
+      true,
       false,
       true
     ],
@@ -2483,7 +2483,7 @@
       true,
       false,
       false,
-      false
+      true
     ],
     "model.decoder.layers.24.self_attn.k_proj.lora_E": [
       true,
@@ -2492,12 +2492,12 @@
       true,
       true,
       true,
+      false,
       true,
       true,
       true,
       true,
-      true,
-      true
+      false
     ],
     "model.decoder.layers.24.self_attn.out_proj.lora_E": [
       true,
@@ -2558,12 +2558,12 @@
     "model.decoder.layers.25.encoder_attn.out_proj.lora_E": [
       true,
       true,
-      true,
+      false,
       true,
       false,
       false,
       true,
-      false,
+      true,
       true,
       true,
       true,
@@ -2621,20 +2621,20 @@
       true,
       true,
       true,
-      false,
+      true,
       true,
       true
     ],
     "model.decoder.layers.25.self_attn.k_proj.lora_E": [
-      true,
-      true,
-      true,
       true,
       false,
       true,
       true,
+      false,
       true,
       true,
+      false,
+      false,
       true,
       true,
       false
@@ -2706,7 +2706,7 @@
       true,
       true,
       true,
-      true,
+      false,
       true
     ],
     "model.decoder.layers.26.encoder_attn.q_proj.lora_E": [
@@ -2766,7 +2766,7 @@
       false
     ],
     "model.decoder.layers.26.self_attn.k_proj.lora_E": [
-      true,
+      false,
       true,
       false,
       true,
@@ -2780,10 +2780,10 @@
       false
     ],
     "model.decoder.layers.26.self_attn.out_proj.lora_E": [
-      false,
       false,
       false,
       true,
+      true,
       false,
       false,
       true,
@@ -2796,7 +2796,7 @@
     "model.decoder.layers.26.self_attn.q_proj.lora_E": [
       false,
       false,
-      true,
+      false,
       false,
       false,
       false,
@@ -2811,13 +2811,13 @@
       false,
       true,
       false,
-      true,
-      true,
       false,
+      true,
       false,
       false,
       true,
       true,
+      true,
       false,
       true
     ],
@@ -2921,7 +2921,7 @@
     ],
     "model.decoder.layers.27.self_attn.out_proj.lora_E": [
       false,
-      false,
+      true,
       true,
       false,
       false,
@@ -2948,7 +2948,7 @@
       false
     ],
     "model.decoder.layers.27.self_attn.v_proj.lora_E": [
-      true,
+      false,
       true,
       false,
       false,
@@ -2981,12 +2981,12 @@
       true,
       true,
       true,
-      false,
       true,
-      false,
       true,
       false,
       true,
+      true,
+      true,
       true
     ],
     "model.decoder.layers.28.encoder_attn.q_proj.lora_E": [
@@ -3046,7 +3046,7 @@
       true
     ],
     "model.decoder.layers.28.self_attn.k_proj.lora_E": [
-      false,
+      true,
       true,
       true,
       false,
@@ -3097,7 +3097,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false,
       true
     ],
@@ -3122,7 +3122,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false,
       false,
       false,
@@ -3191,7 +3191,7 @@
       false,
       false,
       false,
-      true,
+      false,
       true,
       false,
       false,
@@ -3210,7 +3210,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false
     ],
     "model.decoder.layers.29.self_attn.q_proj.lora_E": [
@@ -3259,14 +3259,14 @@
       true,
       true,
       false,
-      true,
       false,
+      true,
       false,
       true,
       true,
       false,
       false,
-      false,
+      true,
       false
     ],
     "model.decoder.layers.3.encoder_attn.q_proj.lora_E": [
@@ -3368,7 +3368,7 @@
       false
     ],
     "model.decoder.layers.3.self_attn.v_proj.lora_E": [
-      false,
+      true,
       false,
       false,
       false,
@@ -3378,7 +3378,7 @@
       false,
       false,
       true,
-      true,
+      false,
       false
     ],
     "model.decoder.layers.30.encoder_attn.k_proj.lora_E": [
@@ -3404,7 +3404,7 @@
       false,
       false,
       false,
-      true,
+      false,
       true,
       false,
       false
@@ -3432,7 +3432,7 @@
       true,
       true,
       false,
-      false,
+      true,
       true,
       true,
       true
@@ -3475,7 +3475,7 @@
       false,
       true,
       false,
-      false,
+      true,
       true,
       true
     ],
@@ -3517,7 +3517,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false,
       true
     ],
@@ -3584,7 +3584,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false,
       true,
       true,
@@ -3686,7 +3686,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false
     ],
     "model.decoder.layers.4.encoder_attn.q_proj.lora_E": [
@@ -3704,17 +3704,17 @@
       false
     ],
     "model.decoder.layers.4.encoder_attn.v_proj.lora_E": [
-      true,
       true,
       false,
       false,
       false,
       false,
+      false,
       true,
       true,
       false,
       true,
-      true,
+      false,
       false
     ],
     "model.decoder.layers.4.fc1.lora_E": [
@@ -3853,7 +3853,7 @@
       false,
       true,
       true,
-      true,
+      false,
       false,
       true
     ],
@@ -4069,7 +4069,7 @@
     ],
     "model.decoder.layers.6.self_attn.v_proj.lora_E": [
       false,
-      false,
+      true,
       false,
       false,
       false,
@@ -4079,7 +4079,7 @@
       false,
       true,
       false,
-      true
+      false
     ],
     "model.decoder.layers.7.encoder_attn.k_proj.lora_E": [
       false,
@@ -4149,7 +4149,7 @@
       true,
       true,
       true,
-      true
+      false
     ],
     "model.decoder.layers.7.fc2.lora_E": [
       true,
@@ -4428,7 +4428,7 @@
       true,
       true,
       true,
-      false,
+      true,
       true
     ],
     "model.decoder.layers.9.fc2.lora_E": [
@@ -4496,9 +4496,9 @@
       true,
       false,
       false,
-      true,
       false,
       false,
+      true,
       false
     ],
     "model.encoder.layers.0.fc1.lora_E": [
@@ -4526,7 +4526,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false
     ],
     "model.encoder.layers.0.self_attn.k_proj.lora_E": [
@@ -4550,8 +4550,8 @@
       true,
       false,
       false,
-      true,
-      true,
+      false,
+      false,
       false,
       false,
       false,
@@ -4772,13 +4772,13 @@
       false,
       true,
       true,
-      false,
+      true,
       false,
       false,
       false,
       true,
       false,
-      false,
+      true,
       false
     ],
     "model.encoder.layers.11.self_attn.k_proj.lora_E": [
@@ -4832,7 +4832,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       false,
       false
@@ -4885,7 +4885,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       false,
       false,
@@ -4926,7 +4926,7 @@
       false,
       false,
       false,
-      false,
+      true,
       true,
       false,
       false,
@@ -4943,7 +4943,7 @@
       true,
       false,
       false,
-      false,
+      true,
       false,
       false,
       true,
@@ -4967,7 +4967,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       false,
       false,
@@ -5003,7 +5003,7 @@
       false,
       false,
       false,
-      true
+      false
     ],
     "model.encoder.layers.14.fc1.lora_E": [
       true,
@@ -5016,7 +5016,7 @@
       true,
       false,
       false,
-      true,
+      false,
       true
     ],
     "model.encoder.layers.14.fc2.lora_E": [
@@ -5056,7 +5056,7 @@
       false,
       false,
       true,
-      true,
+      false,
       false,
       true,
       false
@@ -5136,11 +5136,11 @@
       true,
       false,
       false,
-      true,
+      false,
       true,
       false,
       false,
-      true,
+      false,
       false,
       false,
       false
@@ -5168,7 +5168,7 @@
       false,
       false,
       true,
-      true,
+      false,
       false,
       false,
       true
@@ -5226,7 +5226,7 @@
       false,
       false,
       false,
-      false,
+      true,
       true
     ],
     "model.encoder.layers.16.self_attn.q_proj.lora_E": [
@@ -5307,9 +5307,9 @@
       true,
       true,
       false,
+      false,
       true,
-      true,
-      true,
+      false,
       true,
       true
     ],
@@ -5391,7 +5391,7 @@
       false,
       false,
       false,
-      true,
+      false,
       true,
       false,
       false,
@@ -5474,7 +5474,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       false,
       false,
@@ -5729,7 +5729,7 @@
       false,
       false,
       true,
-      false,
+      true,
       false,
       false
     ],
@@ -5806,7 +5806,7 @@
     "model.encoder.layers.22.self_attn.out_proj.lora_E": [
       false,
       false,
-      true,
+      false,
       false,
       false,
       true,
@@ -5893,7 +5893,7 @@
       true,
       true,
       false,
-      true,
+      false,
       true,
       true,
       false,
@@ -5917,7 +5917,7 @@
     ],
     "model.encoder.layers.23.self_attn.v_proj.lora_E": [
       true,
-      true,
+      false,
       false,
       false,
       true,
@@ -6092,7 +6092,7 @@
       true,
       true,
       true,
-      true,
+      false,
       true,
       true,
       true
@@ -6227,7 +6227,7 @@
       true,
       true,
       false,
-      false,
+      true,
       false,
       true,
       true,
@@ -6400,7 +6400,7 @@
       true,
       true,
       true,
-      true,
+      false,
       true,
       true,
       true
@@ -6425,7 +6425,7 @@
       true,
       true,
       true,
-      true,
+      false,
       true,
       true,
       true,
@@ -6564,7 +6564,7 @@
       true,
       true,
       true,
-      false,
+      true,
       true,
       true,
       true,
@@ -6649,10 +6649,10 @@
       false,
       false,
       true,
-      true,
       false,
       true,
       true,
+      true,
       false,
       true,
       true
@@ -6677,13 +6677,13 @@
       true,
       true,
       false,
-      true,
+      false,
       false,
       true,
       true,
       true,
       true,
-      false
+      true
     ],
     "model.encoder.layers.4.fc1.lora_E": [
       false,
@@ -6871,7 +6871,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       false,
       false,
@@ -7040,7 +7040,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false,
       false,
       false,
@@ -7129,8 +7129,8 @@
       false,
       false,
       false,
-      true,
-      true,
+      false,
+      false,
       false
     ],
     "model.encoder.layers.9.self_attn.k_proj.lora_E": [

best_checkpoint/adapter_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4a4cdee2beed512b551653d291398294f0d644c8e3271f990e283a251dcdf98f
-size 38590501
+oid sha256:945fb9287c8252170548a62c8b31f0e2bac3a2123e2c7771498ff4b0ed86667f
+size 38697637

best_checkpoint/random_states_1.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:b436eb364998151b462d999d81fa96e8f9849666f0e8d939c855ef4aef9bdb8c
+oid sha256:97eef37a8daf39b503800acd6b12dacc4632d876f40eebb2435196bbc25f883d
 size 15755