| Reading metadata...: 2165it [00:01, 2091.77it/s] | 0/60000 [00:00<?, ?it/s] | |
| Reading metadata...: 1it [00:01, 1.02s/it] | |
| [INFO|trainer_utils.py:759] 2023-11-22 10:02:47,011 >> The following columns in the training set don't have a corresponding argument in `WhisperForConditionalGeneration.forward` and have been ignored: input_length. If input_length are not expected by `WhisperForConditionalGeneration.forward`, you can safely ignore this message. | |
| Reading metadata...: 1650it [00:00, 10770.26it/s] | |
| Reading metadata...: 1it [00:00, 6.80it/s] | |
| Reading metadata...: 1650it [00:00, 10115.12it/s] | |
| Reading metadata...: 2165it [00:00, 14042.07it/s] | |
| Reading metadata...: 1it [00:00, 6.85it/s] | |
| Reading metadata...: 2165it [00:00, 13309.28it/s] | |
| Reading metadata...: 1650it [00:00, 8448.63it/s] | |
| Reading metadata...: 1650it [00:00, 10364.40it/s] | |
| Reading metadata...: 2165it [00:00, 9428.67it/s] | |
| Reading metadata...: 1650it [00:00, 10640.87it/s] | |
| Reading metadata...: 2165it [00:00, 12696.95it/s] | |
| Reading metadata...: 1650it [00:00, 10258.32it/s] | |
| Reading metadata...: 2165it [00:00, 4710.14it/s] | |
| Reading metadata...: 1650it [00:00, 10575.18it/s] | |
| Reading metadata...: 1650it [00:00, 10434.57it/s] | |
| Reading metadata...: 2165it [00:00, 5422.66it/s] | |
| Reading metadata...: 1650it [00:00, 9295.20it/s] | |
| Reading metadata...: 2165it [00:00, 14024.20it/s] | |
| Reading metadata...: 1650it [00:00, 3584.90it/s] | |
| Reading metadata...: 2165it [00:00, 10291.07it/s] | |
| Reading metadata...: 1650it [00:00, 10892.36it/s] | |
| Reading metadata...: 1it [00:00, 6.91it/s] | |
| Reading metadata...: 2165it [00:00, 10458.57it/s] | |
| Reading metadata...: 1650it [00:00, 10005.74it/s] | |
| Reading metadata...: 2165it [00:00, 11594.39it/s] | |
| Reading metadata...: 1650it [00:00, 10291.47it/s] | |
| Reading metadata...: 2165it [00:00, 13948.97it/s] | |
| Reading metadata...: 1650it [00:00, 10099.77it/s] | |
| Reading metadata...: 1650it [00:00, 6295.95it/s] | |
| Reading metadata...: 2165it [00:00, 13887.47it/s] | |
| Reading metadata...: 1650it [00:00, 7971.18it/s] | |
| Reading metadata...: 2165it [00:00, 9432.98it/s] | |
| Reading metadata...: 1650it [00:00, 9463.73it/s] | |
| Reading metadata...: 2165it [00:00, 12577.75it/s] | |
| Reading metadata...: 1650it [00:00, 10109.37it/s] | |
| Reading metadata...: 2165it [00:00, 13560.18it/s] | |
| Reading metadata...: 1it [00:00, 6.62it/s] | |
| Reading metadata...: 1650it [00:00, 9886.86it/s] | |
| Reading metadata...: 2165it [00:00, 13258.29it/s] | |
| Reading metadata...: 1650it [00:00, 10246.35it/s] | |
| Reading metadata...: 2165it [00:00, 9269.32it/s] | |
| Reading metadata...: 1650it [00:00, 10293.66it/s] | |
| Reading metadata...: 1it [00:00, 6.56it/s] | |
| Reading metadata...: 1650it [00:00, 10623.23it/s] | |
| Reading metadata...: 1650it [00:00, 10933.23it/s] | |
| Reading metadata...: 1it [00:00, 6.92it/s] | |
| [WARNING|logging.py:329] 2023-11-22 15:47:28,364 >> `use_cache = True` is incompatible with gradient checkpointing. Setting `use_cache = False`... | |
| 43%|████████████████████████████████████████▎ | 26020/60000 [5:53:10<16:25:11, 1.74s/it] | |
| 43%|████████████████████████████████████████▎ | 26040/60000 [5:56:33<95:56:28, 10.17s/it] | |
| 43%|████████████████████████████████████████▍ | 26059/60000 [5:59:45<96:59:47, 10.29s/it] | |
| 43%|███████████████████████████████████████▉ | 26080/60000 [6:03:25<110:16:32, 11.70s/it] | |
| 44%|████████████████████████████████████████▍ | 26100/60000 [6:06:43<94:13:59, 10.01s/it] | |
| 44%|████████████████████████████████████████▍ | 26120/60000 [6:10:01<94:05:24, 10.00s/it] | |
| 44%|████████████████████████████████████████▌ | 26140/60000 [6:13:28<95:52:26, 10.19s/it] | |
| 44%|████████████████████████████████████████▌ | 26160/60000 [6:16:51<93:55:58, 9.99s/it] | |
| 44%|████████████████████████████████████████▌ | 26179/60000 [6:20:05<92:57:07, 9.89s/it] | |
| 44%|████████████████████████████████████████▌ | 26199/60000 [6:23:22<91:17:42, 9.72s/it] | |
| 44%|████████████████████████████████████████▋ | 26220/60000 [6:26:50<96:34:09, 10.29s/it] | |
| 44%|████████████████████████████████████████▋ | 26240/60000 [6:30:09<92:51:54, 9.90s/it] | |
| 44%|████████████████████████████████████████▋ | 26260/60000 [6:33:36<95:21:39, 10.17s/it] | |
| 44%|████████████████████████████████████████▎ | 26280/60000 [6:37:20<123:53:35, 13.23s/it] | |
| 44%|████████████████████████████████████████▊ | 26300/60000 [6:41:05<95:25:50, 10.19s/it] | |
| 44%|████████████████████████████████████████▊ | 26320/60000 [6:44:27<94:57:22, 10.15s/it] | |
| 44%|████████████████████████████████████████▊ | 26340/60000 [6:47:50<93:05:33, 9.96s/it] | |
| 44%|████████████████████████████████████████▊ | 26359/60000 [6:51:11<95:25:08, 10.21s/it] | |
| 44%|████████████████████████████████████████▉ | 26379/60000 [6:54:33<94:52:34, 10.16s/it] | |
| 44%|████████████████████████████████████████▉ | 26400/60000 [6:58:09<94:40:27, 10.14s/it] | |
| 44%|████████████████████████████████████████▉ | 26420/60000 [7:01:33<97:18:13, 10.43s/it] | |
| 44%|████████████████████████████████████████▌ | 26440/60000 [7:05:30<102:54:30, 11.04s/it] | |
| 44%|█████████████████████████████████████████ | 26460/60000 [7:08:54<96:05:51, 10.31s/it] | |
| 44%|█████████████████████████████████████████ | 26480/60000 [7:12:17<95:20:20, 10.24s/it] | |
| 44%|█████████████████████████████████████████ | 26500/60000 [7:15:42<94:48:09, 10.19s/it] | |
| 44%|████████████████████████████████████████▋ | 26520/60000 [7:19:08<102:47:39, 11.05s/it] | |
| 44%|█████████████████████████████████████████▏ | 26540/60000 [7:22:28<95:18:33, 10.25s/it] | |
| 44%|█████████████████████████████████████████▏ | 26560/60000 [7:25:48<92:21:30, 9.94s/it] | |
| 44%|█████████████████████████████████████████▏ | 26580/60000 [7:29:10<92:33:21, 9.97s/it] | |
| 44%|████████████████████████████████████████▊ | 26600/60000 [7:32:53<132:18:31, 14.26s/it] | |
| 44%|█████████████████████████████████████████▎ | 26620/60000 [7:36:31<95:10:40, 10.26s/it] | |
| 44%|█████████████████████████████████████████▎ | 26632/60000 [7:38:26<81:37:28, 8.81s/it] | |
| 44%|█████████████████████████████████████████▎ | 26633/60000 [7:38:33<75:28:42, 8.14s/it] | |
| 44%|█████████████████████████████████████████▎ | 26639/60000 [7:39:31<89:10:50, 9.62s/it] | |
| 44%|█████████████████████████████████████████▎ | 26660/60000 [7:43:02<92:33:09, 9.99s/it] | |
| 44%|█████████████████████████████████████████▎ | 26680/60000 [7:46:24<92:53:37, 10.04s/it] | |
| 44%|████████████████████████████████████████▉ | 26699/60000 [7:49:42<103:25:53, 11.18s/it] | |
| Reading metadata...: 1650it [00:00, 2640.63it/s] | 26700/60000 [7:49:53<100:37:44, 10.88s/it] | |
| 45%|█████████████████████████████████████████▍ | 26719/60000 [7:53:06<91:05:06, 9.85s/it] | |
| 45%|█████████████████████████████████████████▍ | 26739/60000 [7:57:07<96:07:19, 10.40s/it] | |
| 45%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26759/60000 [8:01:29<103:02:04, 11.16s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 26779/60000 [8:05:05<99:22:41, 10.77s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 26799/60000 [8:08:45<97:18:50, 10.55s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 26819/60000 [8:12:16<98:14:08, 10.66s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 26839/60000 [8:15:47<97:32:15, 10.59s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 26859/60000 [8:19:28<104:49:20, 11.39s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 26880/60000 [8:23:24<102:15:37, 11.12s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 26900/60000 [8:27:00<99:42:17, 10.84s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 26920/60000 [8:30:45<107:01:30, 11.65s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 26939/60000 [8:34:11<98:30:06, 10.73s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26960/60000 [8:38:18<101:25:53, 11.05s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 26980/60000 [8:42:02<100:28:45, 10.95s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 26999/60000 [8:45:30<100:14:09, 10.93s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 27000/60000 [8:45:41<100:50:31, 11.00s/it][INFO|trainer.py:3173] 2023-11-22 18:46:09,458 >> ***** Running Evaluation ***** | |
| [INFO|trainer.py:3177] 2023-11-22 18:46:09,461 >> Num examples: Unknown | |
| [INFO|trainer.py:3178] 2023-11-22 18:46:09,461 >> Batch size = 4 | |
| Reading metadata...: 1704it [00:00, 2566.26it/s] | |
| [INFO|trainer_utils.py:759] 2023-11-22 18:46:12,313 >> The following columns in the evaluation set don't have a corresponding argument in `WhisperForConditionalGeneration.forward` and have been ignored: age, client_id, locale, gender, accent, up_votes, segment, input_length, down_votes, path. If age, client_id, locale, gender, accent, up_votes, segment, input_length, down_votes, path are not expected by `WhisperForConditionalGeneration.forward`, you can safely ignore this message. | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 27000/60000 [8:57:11<100:50:31, 11.00s/it] | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 27000/60000 [8:57:11<100:50:31, 11.00s/it][INFO|trainer.py:2896] 2023-11-22 18:57:43,033 >> Saving model checkpoint to ./checkpoint-27000 | |
| [INFO|configuration_utils.py:462] 2023-11-22 18:57:43,068 >> Configuration saved in ./checkpoint-27000/config.json | |
| [INFO|configuration_utils.py:568] 2023-11-22 18:57:43,077 >> Configuration saved in ./checkpoint-27000/generation_config.json | |
| [INFO|modeling_utils.py:2194] 2023-11-22 18:58:14,712 >> Model weights saved in ./checkpoint-27000/pytorch_model.bin | |
| [INFO|feature_extraction_utils.py:425] 2023-11-22 18:58:14,726 >> Feature extractor saved in ./checkpoint-27000/preprocessor_config.json | |
| [2023-11-22 18:58:17,883] [INFO] [logging.py:96:log_dist] [Rank 0] [Torch] Checkpoint global_step27000 is about to be saved! | |
| [2023-11-22 18:58:17,952] [INFO] [logging.py:96:log_dist] [Rank 0] Saving model checkpoint: ./checkpoint-27000/global_step27000/mp_rank_00_model_states.pt | |
| [2023-11-22 18:58:17,952] [INFO] [torch_checkpoint_engine.py:21:save] [Torch] Saving ./checkpoint-27000/global_step27000/mp_rank_00_model_states.pt... | |
| [2023-11-22 18:58:39,977] [INFO] [torch_checkpoint_engine.py:23:save] [Torch] Saved ./checkpoint-27000/global_step27000/mp_rank_00_model_states.pt. | |
| [2023-11-22 18:58:40,036] [INFO] [torch_checkpoint_engine.py:21:save] [Torch] Saving ./checkpoint-27000/global_step27000/zero_pp_rank_0_mp_rank_00_optim_states.pt... | |
| [2023-11-22 18:59:03,183] [INFO] [torch_checkpoint_engine.py:23:save] [Torch] Saved ./checkpoint-27000/global_step27000/zero_pp_rank_0_mp_rank_00_optim_states.pt. | |
| [2023-11-22 18:59:03,205] [INFO] [engine.py:3417:_save_zero_checkpoint] zero checkpoint saved ./checkpoint-27000/global_step27000/zero_pp_rank_0_mp_rank_00_optim_states.pt | |
| [2023-11-22 18:59:03,213] [INFO] [torch_checkpoint_engine.py:33:commit] [Torch] Checkpoint global_step27000 is ready now! | |
| [INFO|feature_extraction_utils.py:425] 2023-11-22 19:00:19,016 >> Feature extractor saved in ./preprocessor_config.json | |
| 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 27019/60000 [9:03:28<105:06:04, 11.47s/it] | |
| 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 27040/60000 [9:07:37<104:50:49, 11.45s/it] | |
| 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 27059/60000 [9:11:23<105:53:17, 11.57s/it] | |
| 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 27079/60000 [9:14:56<94:47:37, 10.37s/it] | |
| 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 27100/60000 [9:18:36<99:13:35, 10.86s/it] | |
| 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 27120/60000 [9:22:04<93:32:43, 10.24s/it] | |
| 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 27140/60000 [9:25:37<100:35:47, 11.02s/it] | |
| 45%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 27160/60000 [9:29:05<98:39:07, 10.81s/it] | |
| 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 27180/60000 [9:33:05<102:12:21, 11.21s/it] | |
| 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 27199/60000 [9:36:57<111:25:10, 12.23s/it] | |
| 45%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 27219/60000 [9:40:27<96:33:59, 10.60s/it] | |
| 45%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 27240/60000 [9:44:09<93:47:02, 10.31s/it] | |
| Reading metadata...: 2165it [00:00, 12872.24it/s]██████████████████████████████████████████████████████████████████████████████████████████████▌ | 27249/60000 [9:45:41<92:54:40, 10.21s/it] | |
| 45%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 27260/60000 [9:47:35<93:19:33, 10.26s/it] | |
| 45%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27279/60000 [9:51:09<124:05:12, 13.65s/it] | |
| 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 27300/60000 [9:54:51<95:55:14, 10.56s/it] | |
| 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 27320/60000 [9:58:31<98:32:41, 10.86s/it] | |
| 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 27340/60000 [10:02:03<96:28:33, 10.63s/it] | |
| 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 27360/60000 [10:05:35<94:59:01, 10.48s/it] | |
| 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 27379/60000 [10:08:58<95:05:47, 10.49s/it] | |
| 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 27399/60000 [10:12:32<96:44:44, 10.68s/it] | |
| 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 27419/60000 [10:16:12<96:27:49, 10.66s/it] | |
| 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 27439/60000 [10:19:48<96:01:27, 10.62s/it] | |
| 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 27459/60000 [10:23:31<104:43:36, 11.59s/it] | |
| 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27480/60000 [10:27:17<96:42:20, 10.71s/it] | |
| 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 27499/60000 [10:30:45<98:27:19, 10.91s/it] | |
| 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 27519/60000 [10:34:19<96:37:37, 10.71s/it] | |
| 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 27539/60000 [10:37:52<95:27:20, 10.59s/it] | |
| 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27559/60000 [10:41:51<104:12:37, 11.56s/it] | |
| 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 27579/60000 [10:45:34<105:34:17, 11.72s/it] | |
| 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 27599/60000 [10:49:09<95:44:24, 10.64s/it] | |
| 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 27620/60000 [10:53:01<96:15:41, 10.70s/it] | |
| 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 27633/60000 [10:55:19<95:20:13, 10.60s/it] | |
| 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 27634/60000 [10:55:26<86:23:40, 9.61s/it] | |
| 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 27639/60000 [10:56:14<90:49:12, 10.10s/it] | |
| 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27659/60000 [10:59:46<94:33:56, 10.53s/it] | |
| 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27680/60000 [11:03:33<94:36:53, 10.54s/it] | |
| Reading metadata...: 1650it [00:01, 1321.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 27691/60000 [11:05:29<94:20:10, 10.51s/it] | |
| 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 27700/60000 [11:07:08<95:48:13, 10.68s/it] | |
| 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 27719/60000 [11:10:28<95:05:10, 10.60s/it] | |
| 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 27739/60000 [11:13:58<94:59:49, 10.60s/it] | |
| 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 27759/60000 [11:17:33<98:12:21, 10.97s/it] | |
| 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 27780/60000 [11:21:25<102:40:21, 11.47s/it] | |
| 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 27799/60000 [11:24:46<93:15:47, 10.43s/it] | |
| 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 27819/60000 [11:28:15<93:20:09, 10.44s/it] | |
| 46%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 27839/60000 [11:31:46<93:58:51, 10.52s/it] | |
| 46%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27859/60000 [11:35:30<96:36:22, 10.82s/it] | |
| 46%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 27880/60000 [11:39:13<95:56:04, 10.75s/it] | |
| 46%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 27900/60000 [11:42:55<97:19:10, 10.91s/it] | |
| 47%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 27920/60000 [11:47:01<101:23:23, 11.38s/it] | |
| 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 27940/60000 [11:50:45<95:15:06, 10.70s/it] | |
| 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 27960/60000 [11:54:31<92:24:57, 10.38s/it] | |
| 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 27980/60000 [11:58:04<96:42:11, 10.87s/it] | |
| 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28000/60000 [12:01:43<97:11:16, 10.93s/it][INFO|trainer.py:3173] 2023-11-22 22:02:11,469 >> ***** Running Evaluation ***** | |
| [INFO|trainer.py:3177] 2023-11-22 22:02:11,470 >> Num examples: Unknown | |
| [INFO|trainer.py:3178] 2023-11-22 22:02:11,470 >> Batch size = 4 | |
| Reading metadata...: 1704it [00:01, 1561.38it/s] | |
| Reading metadata...: 1it [00:01, 1.06s/it] | |
| [INFO|trainer_utils.py:759] 2023-11-22 22:02:13,693 >> The following columns in the evaluation set don't have a corresponding argument in `WhisperForConditionalGeneration.forward` and have been ignored: age, client_id, locale, gender, accent, up_votes, segment, input_length, down_votes, path. If age, client_id, locale, gender, accent, up_votes, segment, input_length, down_votes, path are not expected by `WhisperForConditionalGeneration.forward`, you can safely ignore this message. | |
| 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28000/60000 [12:13:06<97:11:16, 10.93s/it] | |
| 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28000/60000 [12:13:06<97:11:16, 10.93s/it][INFO|trainer.py:2896] 2023-11-22 22:14:03,336 >> Saving model checkpoint to ./checkpoint-28000 | |
| [INFO|configuration_utils.py:462] 2023-11-22 22:14:03,357 >> Configuration saved in ./checkpoint-28000/config.json | |
| [INFO|configuration_utils.py:568] 2023-11-22 22:14:03,365 >> Configuration saved in ./checkpoint-28000/generation_config.json | |
| [INFO|modeling_utils.py:2194] 2023-11-22 22:14:49,638 >> Model weights saved in ./checkpoint-28000/pytorch_model.bin | |
| [INFO|feature_extraction_utils.py:425] 2023-11-22 22:14:49,643 >> Feature extractor saved in ./checkpoint-28000/preprocessor_config.json | |
| [2023-11-22 22:14:49,676] [INFO] [logging.py:96:log_dist] [Rank 0] [Torch] Checkpoint global_step28000 is about to be saved! | |
| [2023-11-22 22:14:49,706] [INFO] [logging.py:96:log_dist] [Rank 0] Saving model checkpoint: ./checkpoint-28000/global_step28000/mp_rank_00_model_states.pt | |
| [2023-11-22 22:14:49,706] [INFO] [torch_checkpoint_engine.py:21:save] [Torch] Saving ./checkpoint-28000/global_step28000/mp_rank_00_model_states.pt... | |
| [2023-11-22 22:14:58,198] [INFO] [torch_checkpoint_engine.py:23:save] [Torch] Saved ./checkpoint-28000/global_step28000/mp_rank_00_model_states.pt. | |
| [2023-11-22 22:14:58,211] [INFO] [torch_checkpoint_engine.py:21:save] [Torch] Saving ./checkpoint-28000/global_step28000/zero_pp_rank_0_mp_rank_00_optim_states.pt... | |
| [2023-11-22 22:15:20,986] [INFO] [torch_checkpoint_engine.py:23:save] [Torch] Saved ./checkpoint-28000/global_step28000/zero_pp_rank_0_mp_rank_00_optim_states.pt. | |
| [2023-11-22 22:15:20,997] [INFO] [engine.py:3417:_save_zero_checkpoint] zero checkpoint saved ./checkpoint-28000/global_step28000/zero_pp_rank_0_mp_rank_00_optim_states.pt | |
| [2023-11-22 22:15:20,997] [INFO] [torch_checkpoint_engine.py:33:commit] [Torch] Checkpoint global_step28000 is ready now! | |
| [INFO|feature_extraction_utils.py:425] 2023-11-22 22:16:32,021 >> Feature extractor saved in ./preprocessor_config.json | |
| 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 28020/60000 [12:20:08<127:36:32, 14.36s/it] | |
| 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 28039/60000 [12:23:44<100:57:38, 11.37s/it] | |
| 47%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 28059/60000 [12:27:25<96:54:18, 10.92s/it] | |
| 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28079/60000 [12:31:14<107:55:33, 12.17s/it] | |
| 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 28099/60000 [12:35:06<102:17:31, 11.54s/it] | |