xlsr-polish / README.md

Badr Abdullah

Model save

5188ae8 verified 3 months ago

No virus

6.52 kB

	---
	license: apache-2.0
	base_model: facebook/wav2vec2-xls-r-300m
	tags:
	- generated_from_trainer
	datasets:
	- common_voice_17_0
	metrics:
	- wer
	model-index:
	- name: xlsr-polish
	results:
	- task:
	name: Automatic Speech Recognition
	type: automatic-speech-recognition
	dataset:
	name: common_voice_17_0
	type: common_voice_17_0
	config: pl
	split: validation
	args: pl
	metrics:
	- name: Wer
	type: wer
	value: 0.1443174034459139
	---

	<!-- This model card has been generated automatically according to the information the Trainer had access to. You
	should probably proofread and complete it, then remove this comment. -->

	[<img src="https://raw.githubusercontent.com/wandb/assets/main/wandb-github-badge-28.svg" alt="Visualize in Weights & Biases" width="200" height="32"/>](https://wandb.ai/badr-nlp/xlsr-continual-finetuning-polish/runs/v7cepqow)
	# xlsr-polish

	This model is a fine-tuned version of [facebook/wav2vec2-xls-r-300m](https://huggingface.co/facebook/wav2vec2-xls-r-300m) on the common_voice_17_0 dataset.
	It achieves the following results on the evaluation set:
	- Loss: 0.1686
	- Wer: 0.1443
	- Cer: 0.0313

	## Model description

	More information needed

	## Intended uses & limitations

	More information needed

	## Training and evaluation data

	More information needed

	## Training procedure

	### Training hyperparameters

	The following hyperparameters were used during training:
	- learning_rate: 0.0003
	- train_batch_size: 16
	- eval_batch_size: 8
	- seed: 42
	- gradient_accumulation_steps: 2
	- total_train_batch_size: 32
	- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
	- lr_scheduler_type: linear
	- lr_scheduler_warmup_steps: 500
	- num_epochs: 10
	- mixed_precision_training: Native AMP

	### Training results

	\| Training Loss \| Epoch \| Step \| Validation Loss \| Wer \| Cer \|
	\|:-------------:\|:------:\|:----:\|:---------------:\|:------:\|:------:\|
	\| 4.7158 \| 0.1543 \| 100 \| 4.0453 \| 1.0 \| 1.0 \|
	\| 3.3469 \| 0.3086 \| 200 \| 3.2544 \| 1.0 \| 1.0 \|
	\| 2.9194 \| 0.4630 \| 300 \| 2.7288 \| 0.9985 \| 0.8650 \|
	\| 0.921 \| 0.6173 \| 400 \| 0.5673 \| 0.5449 \| 0.1303 \|
	\| 0.8196 \| 0.7716 \| 500 \| 0.4311 \| 0.4439 \| 0.1025 \|
	\| 0.7248 \| 0.9259 \| 600 \| 0.3672 \| 0.3894 \| 0.0875 \|
	\| 0.1727 \| 1.0802 \| 700 \| 0.3141 \| 0.3363 \| 0.0739 \|
	\| 0.1807 \| 1.2346 \| 800 \| 0.3075 \| 0.3463 \| 0.0758 \|
	\| 0.1683 \| 1.3889 \| 900 \| 0.2969 \| 0.3217 \| 0.0707 \|
	\| 0.1616 \| 1.5432 \| 1000 \| 0.2650 \| 0.3045 \| 0.0675 \|
	\| 0.1569 \| 1.6975 \| 1100 \| 0.2718 \| 0.2912 \| 0.0658 \|
	\| 0.1185 \| 1.8519 \| 1200 \| 0.2647 \| 0.3139 \| 0.0672 \|
	\| 0.1101 \| 2.0062 \| 1300 \| 0.2476 \| 0.2659 \| 0.0576 \|
	\| 0.1296 \| 2.1605 \| 1400 \| 0.2493 \| 0.2704 \| 0.0590 \|
	\| 0.0829 \| 2.3148 \| 1500 \| 0.2299 \| 0.2614 \| 0.0576 \|
	\| 0.0881 \| 2.4691 \| 1600 \| 0.2434 \| 0.2670 \| 0.0601 \|
	\| 0.125 \| 2.6235 \| 1700 \| 0.2318 \| 0.2745 \| 0.0570 \|
	\| 0.1227 \| 2.7778 \| 1800 \| 0.2245 \| 0.2527 \| 0.0542 \|
	\| 0.1128 \| 2.9321 \| 1900 \| 0.2293 \| 0.2600 \| 0.0562 \|
	\| 0.079 \| 3.0864 \| 2000 \| 0.2227 \| 0.2511 \| 0.0530 \|
	\| 0.0906 \| 3.2407 \| 2100 \| 0.2289 \| 0.2331 \| 0.0515 \|
	\| 0.09 \| 3.3951 \| 2200 \| 0.2196 \| 0.2486 \| 0.0528 \|
	\| 0.1113 \| 3.5494 \| 2300 \| 0.2230 \| 0.2392 \| 0.0539 \|
	\| 0.0867 \| 3.7037 \| 2400 \| 0.2155 \| 0.2237 \| 0.0492 \|
	\| 0.097 \| 3.8580 \| 2500 \| 0.2120 \| 0.2261 \| 0.0493 \|
	\| 0.0659 \| 4.0123 \| 2600 \| 0.2073 \| 0.2216 \| 0.0493 \|
	\| 0.0796 \| 4.1667 \| 2700 \| 0.2135 \| 0.2181 \| 0.0468 \|
	\| 0.0601 \| 4.3210 \| 2800 \| 0.2034 \| 0.2190 \| 0.0480 \|
	\| 0.0644 \| 4.4753 \| 2900 \| 0.2115 \| 0.2092 \| 0.0456 \|
	\| 0.0772 \| 4.6296 \| 3000 \| 0.1986 \| 0.2127 \| 0.0461 \|
	\| 0.066 \| 4.7840 \| 3100 \| 0.1985 \| 0.2027 \| 0.0447 \|
	\| 0.0633 \| 4.9383 \| 3200 \| 0.2094 \| 0.2115 \| 0.0456 \|
	\| 0.0579 \| 5.0926 \| 3300 \| 0.2058 \| 0.2169 \| 0.0460 \|
	\| 0.0709 \| 5.2469 \| 3400 \| 0.1976 \| 0.1973 \| 0.0428 \|
	\| 0.0405 \| 5.4012 \| 3500 \| 0.2001 \| 0.1965 \| 0.0424 \|
	\| 0.0515 \| 5.5556 \| 3600 \| 0.2035 \| 0.2014 \| 0.0438 \|
	\| 0.0785 \| 5.7099 \| 3700 \| 0.1864 \| 0.1928 \| 0.0412 \|
	\| 0.0514 \| 5.8642 \| 3800 \| 0.1850 \| 0.1858 \| 0.0397 \|
	\| 0.0355 \| 6.0185 \| 3900 \| 0.1903 \| 0.1837 \| 0.0399 \|
	\| 0.0621 \| 6.1728 \| 4000 \| 0.1881 \| 0.1798 \| 0.0392 \|
	\| 0.0525 \| 6.3272 \| 4100 \| 0.1852 \| 0.1881 \| 0.0403 \|
	\| 0.0497 \| 6.4815 \| 4200 \| 0.1855 \| 0.1770 \| 0.0387 \|
	\| 0.0362 \| 6.6358 \| 4300 \| 0.1945 \| 0.1899 \| 0.0400 \|
	\| 0.0399 \| 6.7901 \| 4400 \| 0.1803 \| 0.1742 \| 0.0378 \|
	\| 0.0483 \| 6.9444 \| 4500 \| 0.1777 \| 0.1723 \| 0.0372 \|
	\| 0.0293 \| 7.0988 \| 4600 \| 0.1903 \| 0.1697 \| 0.0369 \|
	\| 0.0635 \| 7.2531 \| 4700 \| 0.1787 \| 0.1726 \| 0.0365 \|
	\| 0.0199 \| 7.4074 \| 4800 \| 0.1722 \| 0.1682 \| 0.0362 \|
	\| 0.0393 \| 7.5617 \| 4900 \| 0.1918 \| 0.1641 \| 0.0357 \|
	\| 0.0357 \| 7.7160 \| 5000 \| 0.1801 \| 0.1649 \| 0.0358 \|
	\| 0.0444 \| 7.8704 \| 5100 \| 0.1775 \| 0.1626 \| 0.0353 \|
	\| 0.0266 \| 8.0247 \| 5200 \| 0.1693 \| 0.1592 \| 0.0341 \|
	\| 0.0381 \| 8.1790 \| 5300 \| 0.1794 \| 0.1571 \| 0.0341 \|
	\| 0.0308 \| 8.3333 \| 5400 \| 0.1685 \| 0.1551 \| 0.0333 \|
	\| 0.0304 \| 8.4877 \| 5500 \| 0.1752 \| 0.1519 \| 0.0330 \|
	\| 0.0316 \| 8.6420 \| 5600 \| 0.1752 \| 0.1507 \| 0.0326 \|
	\| 0.0377 \| 8.7963 \| 5700 \| 0.1671 \| 0.1523 \| 0.0328 \|
	\| 0.0588 \| 8.9506 \| 5800 \| 0.1725 \| 0.1550 \| 0.0335 \|
	\| 0.0487 \| 9.1049 \| 5900 \| 0.1774 \| 0.1531 \| 0.0332 \|
	\| 0.0169 \| 9.2593 \| 6000 \| 0.1709 \| 0.1470 \| 0.0318 \|
	\| 0.0274 \| 9.4136 \| 6100 \| 0.1778 \| 0.1468 \| 0.0318 \|
	\| 0.023 \| 9.5679 \| 6200 \| 0.1718 \| 0.1482 \| 0.0322 \|
	\| 0.0274 \| 9.7222 \| 6300 \| 0.1700 \| 0.1451 \| 0.0315 \|
	\| 0.0349 \| 9.8765 \| 6400 \| 0.1686 \| 0.1443 \| 0.0313 \|


	### Framework versions

	- Transformers 4.42.0.dev0
	- Pytorch 2.3.1+cu121
	- Datasets 2.19.2
	- Tokenizers 0.19.1

	---
	license: apache-2.0
	base_model: facebook/wav2vec2-xls-r-300m
	tags:
	- generated_from_trainer
	datasets:
	- common_voice_17_0
	metrics:
	- wer
	model-index:
	- name: xlsr-polish
	results:
	- task:
	name: Automatic Speech Recognition
	type: automatic-speech-recognition
	dataset:
	name: common_voice_17_0
	type: common_voice_17_0
	config: pl
	split: validation
	args: pl
	metrics:
	- name: Wer
	type: wer
	value: 0.1443174034459139
	---

	<!-- This model card has been generated automatically according to the information the Trainer had access to. You
	should probably proofread and complete it, then remove this comment. -->

	[<img src="https://raw.githubusercontent.com/wandb/assets/main/wandb-github-badge-28.svg" alt="Visualize in Weights & Biases" width="200" height="32"/>](https://wandb.ai/badr-nlp/xlsr-continual-finetuning-polish/runs/v7cepqow)
	# xlsr-polish

	This model is a fine-tuned version of [facebook/wav2vec2-xls-r-300m](https://huggingface.co/facebook/wav2vec2-xls-r-300m) on the common_voice_17_0 dataset.
	It achieves the following results on the evaluation set:
	- Loss: 0.1686
	- Wer: 0.1443
	- Cer: 0.0313

	## Model description

	More information needed

	## Intended uses & limitations

	More information needed

	## Training and evaluation data

	More information needed

	## Training procedure

	### Training hyperparameters

	The following hyperparameters were used during training:
	- learning_rate: 0.0003
	- train_batch_size: 16
	- eval_batch_size: 8
	- seed: 42
	- gradient_accumulation_steps: 2
	- total_train_batch_size: 32
	- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
	- lr_scheduler_type: linear
	- lr_scheduler_warmup_steps: 500
	- num_epochs: 10
	- mixed_precision_training: Native AMP

	### Training results

	\| Training Loss \| Epoch \| Step \| Validation Loss \| Wer \| Cer \|
	\|:-------------:\|:------:\|:----:\|:---------------:\|:------:\|:------:\|
	\| 4.7158 \| 0.1543 \| 100 \| 4.0453 \| 1.0 \| 1.0 \|
	\| 3.3469 \| 0.3086 \| 200 \| 3.2544 \| 1.0 \| 1.0 \|
	\| 2.9194 \| 0.4630 \| 300 \| 2.7288 \| 0.9985 \| 0.8650 \|
	\| 0.921 \| 0.6173 \| 400 \| 0.5673 \| 0.5449 \| 0.1303 \|
	\| 0.8196 \| 0.7716 \| 500 \| 0.4311 \| 0.4439 \| 0.1025 \|
	\| 0.7248 \| 0.9259 \| 600 \| 0.3672 \| 0.3894 \| 0.0875 \|
	\| 0.1727 \| 1.0802 \| 700 \| 0.3141 \| 0.3363 \| 0.0739 \|
	\| 0.1807 \| 1.2346 \| 800 \| 0.3075 \| 0.3463 \| 0.0758 \|
	\| 0.1683 \| 1.3889 \| 900 \| 0.2969 \| 0.3217 \| 0.0707 \|
	\| 0.1616 \| 1.5432 \| 1000 \| 0.2650 \| 0.3045 \| 0.0675 \|
	\| 0.1569 \| 1.6975 \| 1100 \| 0.2718 \| 0.2912 \| 0.0658 \|
	\| 0.1185 \| 1.8519 \| 1200 \| 0.2647 \| 0.3139 \| 0.0672 \|
	\| 0.1101 \| 2.0062 \| 1300 \| 0.2476 \| 0.2659 \| 0.0576 \|
	\| 0.1296 \| 2.1605 \| 1400 \| 0.2493 \| 0.2704 \| 0.0590 \|
	\| 0.0829 \| 2.3148 \| 1500 \| 0.2299 \| 0.2614 \| 0.0576 \|
	\| 0.0881 \| 2.4691 \| 1600 \| 0.2434 \| 0.2670 \| 0.0601 \|
	\| 0.125 \| 2.6235 \| 1700 \| 0.2318 \| 0.2745 \| 0.0570 \|
	\| 0.1227 \| 2.7778 \| 1800 \| 0.2245 \| 0.2527 \| 0.0542 \|
	\| 0.1128 \| 2.9321 \| 1900 \| 0.2293 \| 0.2600 \| 0.0562 \|
	\| 0.079 \| 3.0864 \| 2000 \| 0.2227 \| 0.2511 \| 0.0530 \|
	\| 0.0906 \| 3.2407 \| 2100 \| 0.2289 \| 0.2331 \| 0.0515 \|
	\| 0.09 \| 3.3951 \| 2200 \| 0.2196 \| 0.2486 \| 0.0528 \|
	\| 0.1113 \| 3.5494 \| 2300 \| 0.2230 \| 0.2392 \| 0.0539 \|
	\| 0.0867 \| 3.7037 \| 2400 \| 0.2155 \| 0.2237 \| 0.0492 \|
	\| 0.097 \| 3.8580 \| 2500 \| 0.2120 \| 0.2261 \| 0.0493 \|
	\| 0.0659 \| 4.0123 \| 2600 \| 0.2073 \| 0.2216 \| 0.0493 \|
	\| 0.0796 \| 4.1667 \| 2700 \| 0.2135 \| 0.2181 \| 0.0468 \|
	\| 0.0601 \| 4.3210 \| 2800 \| 0.2034 \| 0.2190 \| 0.0480 \|
	\| 0.0644 \| 4.4753 \| 2900 \| 0.2115 \| 0.2092 \| 0.0456 \|
	\| 0.0772 \| 4.6296 \| 3000 \| 0.1986 \| 0.2127 \| 0.0461 \|
	\| 0.066 \| 4.7840 \| 3100 \| 0.1985 \| 0.2027 \| 0.0447 \|
	\| 0.0633 \| 4.9383 \| 3200 \| 0.2094 \| 0.2115 \| 0.0456 \|
	\| 0.0579 \| 5.0926 \| 3300 \| 0.2058 \| 0.2169 \| 0.0460 \|
	\| 0.0709 \| 5.2469 \| 3400 \| 0.1976 \| 0.1973 \| 0.0428 \|
	\| 0.0405 \| 5.4012 \| 3500 \| 0.2001 \| 0.1965 \| 0.0424 \|
	\| 0.0515 \| 5.5556 \| 3600 \| 0.2035 \| 0.2014 \| 0.0438 \|
	\| 0.0785 \| 5.7099 \| 3700 \| 0.1864 \| 0.1928 \| 0.0412 \|
	\| 0.0514 \| 5.8642 \| 3800 \| 0.1850 \| 0.1858 \| 0.0397 \|
	\| 0.0355 \| 6.0185 \| 3900 \| 0.1903 \| 0.1837 \| 0.0399 \|
	\| 0.0621 \| 6.1728 \| 4000 \| 0.1881 \| 0.1798 \| 0.0392 \|
	\| 0.0525 \| 6.3272 \| 4100 \| 0.1852 \| 0.1881 \| 0.0403 \|
	\| 0.0497 \| 6.4815 \| 4200 \| 0.1855 \| 0.1770 \| 0.0387 \|
	\| 0.0362 \| 6.6358 \| 4300 \| 0.1945 \| 0.1899 \| 0.0400 \|
	\| 0.0399 \| 6.7901 \| 4400 \| 0.1803 \| 0.1742 \| 0.0378 \|
	\| 0.0483 \| 6.9444 \| 4500 \| 0.1777 \| 0.1723 \| 0.0372 \|
	\| 0.0293 \| 7.0988 \| 4600 \| 0.1903 \| 0.1697 \| 0.0369 \|
	\| 0.0635 \| 7.2531 \| 4700 \| 0.1787 \| 0.1726 \| 0.0365 \|
	\| 0.0199 \| 7.4074 \| 4800 \| 0.1722 \| 0.1682 \| 0.0362 \|
	\| 0.0393 \| 7.5617 \| 4900 \| 0.1918 \| 0.1641 \| 0.0357 \|
	\| 0.0357 \| 7.7160 \| 5000 \| 0.1801 \| 0.1649 \| 0.0358 \|
	\| 0.0444 \| 7.8704 \| 5100 \| 0.1775 \| 0.1626 \| 0.0353 \|
	\| 0.0266 \| 8.0247 \| 5200 \| 0.1693 \| 0.1592 \| 0.0341 \|
	\| 0.0381 \| 8.1790 \| 5300 \| 0.1794 \| 0.1571 \| 0.0341 \|
	\| 0.0308 \| 8.3333 \| 5400 \| 0.1685 \| 0.1551 \| 0.0333 \|
	\| 0.0304 \| 8.4877 \| 5500 \| 0.1752 \| 0.1519 \| 0.0330 \|
	\| 0.0316 \| 8.6420 \| 5600 \| 0.1752 \| 0.1507 \| 0.0326 \|
	\| 0.0377 \| 8.7963 \| 5700 \| 0.1671 \| 0.1523 \| 0.0328 \|
	\| 0.0588 \| 8.9506 \| 5800 \| 0.1725 \| 0.1550 \| 0.0335 \|
	\| 0.0487 \| 9.1049 \| 5900 \| 0.1774 \| 0.1531 \| 0.0332 \|
	\| 0.0169 \| 9.2593 \| 6000 \| 0.1709 \| 0.1470 \| 0.0318 \|
	\| 0.0274 \| 9.4136 \| 6100 \| 0.1778 \| 0.1468 \| 0.0318 \|
	\| 0.023 \| 9.5679 \| 6200 \| 0.1718 \| 0.1482 \| 0.0322 \|
	\| 0.0274 \| 9.7222 \| 6300 \| 0.1700 \| 0.1451 \| 0.0315 \|
	\| 0.0349 \| 9.8765 \| 6400 \| 0.1686 \| 0.1443 \| 0.0313 \|


	### Framework versions

	- Transformers 4.42.0.dev0
	- Pytorch 2.3.1+cu121
	- Datasets 2.19.2
	- Tokenizers 0.19.1