---
base_model: utter-project/mHuBERT-147
datasets:
- common_voice_17_0
license: cc-by-nc-4.0
metrics:
- wer
tags:
- generated_from_trainer
model-index:
- name: training
  results:
  - task:
      type: automatic-speech-recognition
      name: Automatic Speech Recognition
    dataset:
      name: common_voice_17_0
      type: common_voice_17_0
      config: ba
      split: test
      args: ba
    metrics:
    - type: wer
      value: 0.12020672995899107
      name: Wer
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# training

This model is a fine-tuned version of [utter-project/mHuBERT-147](https://huggingface.co/utter-project/mHuBERT-147) on the common_voice_17_0 dataset.
It achieves the following results on the evaluation set:
- Loss: 0.1375
- Wer: 0.1202

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

Code: https://huggingface.co/AigizK/mHuBERT-147-bashkort/blob/main/ba-mhubert-147-train.ipynb

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 1e-05
- train_batch_size: 32
- eval_batch_size: 4
- seed: 42
- optimizer: Adam with betas=(0.9,0.98) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_ratio: 0.1
- num_epochs: 60

### Training results

| Training Loss | Epoch   | Step   | Validation Loss | Wer    |
|:-------------:|:-------:|:------:|:---------------:|:------:|
| 51.2746       | 0.2393  | 1000   | 38.1449         | 1.0031 |
| 31.0695       | 0.4787  | 2000   | 22.2755         | 1.0    |
| 25.9185       | 0.7180  | 3000   | 18.9954         | 1.0    |
| 22.7995       | 0.9574  | 4000   | 16.6842         | 1.0    |
| 18.799        | 1.1967  | 5000   | 13.7933         | 1.0    |
| 14.7246       | 1.4361  | 6000   | 10.6011         | 1.0    |
| 10.0615       | 1.6754  | 7000   | 7.5085          | 1.0    |
| 6.4954        | 1.9148  | 8000   | 5.1960          | 1.0    |
| 4.3991        | 2.1541  | 9000   | 3.9369          | 1.0    |
| 3.5461        | 2.3935  | 10000  | 3.4371          | 1.0    |
| 3.3468        | 2.6328  | 11000  | 3.3105          | 1.0    |
| 3.2927        | 2.8722  | 12000  | 3.2628          | 1.0    |
| 3.1628        | 3.1115  | 13000  | 3.1256          | 1.0    |
| 2.8922        | 3.3509  | 14000  | 2.8131          | 1.0    |
| 2.171         | 3.5902  | 15000  | 1.9567          | 1.0178 |
| 1.5491        | 3.8296  | 16000  | 1.2633          | 0.7642 |
| 1.1192        | 4.0689  | 17000  | 0.8790          | 0.5990 |
| 0.8418        | 4.3083  | 18000  | 0.6252          | 0.5017 |
| 0.6805        | 4.5476  | 19000  | 0.4897          | 0.4459 |
| 0.5703        | 4.7870  | 20000  | 0.4059          | 0.4047 |
| 0.4754        | 5.0263  | 21000  | 0.3564          | 0.3737 |
| 0.4441        | 5.2657  | 22000  | 0.3221          | 0.3519 |
| 0.4655        | 5.5050  | 23000  | 0.2948          | 0.3308 |
| 0.3695        | 5.7444  | 24000  | 0.2821          | 0.3148 |
| 0.3551        | 5.9837  | 25000  | 0.2635          | 0.3011 |
| 0.3253        | 6.2231  | 26000  | 0.2505          | 0.2891 |
| 0.3298        | 6.4624  | 27000  | 0.2368          | 0.2754 |
| 0.3094        | 6.7018  | 28000  | 0.2296          | 0.2686 |
| 0.3055        | 6.9411  | 29000  | 0.2296          | 0.2620 |
| 0.2831        | 7.1805  | 30000  | 0.2127          | 0.2515 |
| 0.2682        | 7.4198  | 31000  | 0.2143          | 0.2465 |
| 0.2635        | 7.6592  | 32000  | 0.2091          | 0.2420 |
| 0.2669        | 7.8985  | 33000  | 0.1994          | 0.2363 |
| 0.2627        | 8.1379  | 34000  | 0.1990          | 0.2310 |
| 0.2889        | 8.3772  | 35000  | 0.1949          | 0.2259 |
| 0.2421        | 8.6166  | 36000  | 0.1903          | 0.2193 |
| 0.2283        | 8.8559  | 37000  | 0.1905          | 0.2189 |
| 0.2355        | 9.0953  | 38000  | 0.1885          | 0.2152 |
| 0.2457        | 9.3346  | 39000  | 0.1833          | 0.2125 |
| 0.2361        | 9.5740  | 40000  | 0.1794          | 0.2080 |
| 0.3127        | 9.8133  | 41000  | 0.1806          | 0.2067 |
| 0.2132        | 10.0527 | 42000  | 0.1806          | 0.2033 |
| 0.21          | 10.2920 | 43000  | 0.1759          | 0.1990 |
| 0.2118        | 10.5314 | 44000  | 0.1798          | 0.2004 |
| 0.1992        | 10.7707 | 45000  | 0.1711          | 0.1974 |
| 0.2101        | 11.0101 | 46000  | 0.1689          | 0.1949 |
| 0.2097        | 11.2494 | 47000  | 0.1710          | 0.1929 |
| 0.2029        | 11.4888 | 48000  | 0.1671          | 0.1901 |
| 0.247         | 11.7281 | 49000  | 0.1674          | 0.1885 |
| 0.1932        | 11.9674 | 50000  | 0.1685          | 0.1891 |
| 0.1813        | 12.2068 | 51000  | 0.1652          | 0.1840 |
| 0.1932        | 12.4461 | 52000  | 0.1636          | 0.1831 |
| 0.1801        | 12.6855 | 53000  | 0.1629          | 0.1818 |
| 0.1758        | 12.9248 | 54000  | 0.1634          | 0.1799 |
| 0.1865        | 13.1642 | 55000  | 0.1630          | 0.1785 |
| 0.1829        | 13.4035 | 56000  | 0.1619          | 0.1780 |
| 0.1831        | 13.6429 | 57000  | 0.1621          | 0.1777 |
| 0.1786        | 13.8822 | 58000  | 0.1590          | 0.1753 |
| 0.177         | 14.1216 | 59000  | 0.1597          | 0.1746 |
| 0.1722        | 14.3609 | 60000  | 0.1563          | 0.1723 |
| 0.1621        | 14.6003 | 61000  | 0.1629          | 0.1715 |
| 0.1672        | 14.8396 | 62000  | 0.1567          | 0.1714 |
| 0.1593        | 15.0790 | 63000  | 0.1556          | 0.1677 |
| 0.1733        | 15.3183 | 64000  | 0.1542          | 0.1684 |
| 0.1621        | 15.5577 | 65000  | 0.1554          | 0.1669 |
| 0.166         | 15.7970 | 66000  | 0.1525          | 0.1664 |
| 0.1638        | 16.0364 | 67000  | 0.1545          | 0.1647 |
| 0.1587        | 16.2757 | 68000  | 0.1558          | 0.1646 |
| 0.1653        | 16.5151 | 69000  | 0.1504          | 0.1631 |
| 0.1553        | 16.7544 | 70000  | 0.1512          | 0.1637 |
| 0.1575        | 16.9938 | 71000  | 0.1502          | 0.1618 |
| 0.2144        | 17.2331 | 72000  | 0.1495          | 0.1614 |
| 0.17          | 17.4725 | 73000  | 0.1497          | 0.1612 |
| 0.1603        | 17.7118 | 74000  | 0.1541          | 0.1601 |
| 0.145         | 17.9512 | 75000  | 0.1505          | 0.1578 |
| 0.1419        | 18.1905 | 76000  | 0.1495          | 0.1573 |
| 0.1424        | 18.4299 | 77000  | 0.1516          | 0.1582 |
| 0.2559        | 18.6692 | 78000  | 0.1500          | 0.1580 |
| 0.1591        | 18.9086 | 79000  | 0.1488          | 0.1559 |
| 0.2104        | 19.1479 | 80000  | 0.1495          | 0.1567 |
| 0.1392        | 19.3873 | 81000  | 0.1483          | 0.1545 |
| 0.1476        | 19.6266 | 82000  | 0.1489          | 0.1532 |
| 0.1348        | 19.8660 | 83000  | 0.1440          | 0.1526 |
| 0.1527        | 20.1053 | 84000  | 0.1475          | 0.1530 |
| 0.1323        | 20.3447 | 85000  | 0.1453          | 0.1505 |
| 0.1431        | 20.5840 | 86000  | 0.1442          | 0.1506 |
| 0.1456        | 20.8234 | 87000  | 0.1432          | 0.1511 |
| 0.1465        | 21.0627 | 88000  | 0.1444          | 0.1499 |
| 0.1353        | 21.3021 | 89000  | 0.1499          | 0.1499 |
| 0.1468        | 21.5414 | 90000  | 0.1444          | 0.1485 |
| 0.1374        | 21.7808 | 91000  | 0.1435          | 0.1466 |
| 0.131         | 22.0201 | 92000  | 0.1462          | 0.1484 |
| 0.1411        | 22.2595 | 93000  | 0.1438          | 0.1473 |
| 0.1362        | 22.4988 | 94000  | 0.1449          | 0.1476 |
| 0.1319        | 22.7382 | 95000  | 0.1411          | 0.1466 |
| 0.1304        | 22.9775 | 96000  | 0.1409          | 0.1452 |
| 0.1376        | 23.2169 | 97000  | 0.1440          | 0.1464 |
| 0.1426        | 23.4562 | 98000  | 0.1424          | 0.1458 |
| 0.1259        | 23.6955 | 99000  | 0.1439          | 0.1469 |
| 0.1338        | 23.9349 | 100000 | 0.1425          | 0.1437 |
| 0.1179        | 24.1742 | 101000 | 0.1429          | 0.1446 |
| 0.2212        | 24.4136 | 102000 | 0.1408          | 0.1439 |
| 0.1248        | 24.6529 | 103000 | 0.1422          | 0.1439 |
| 0.1203        | 24.8923 | 104000 | 0.1429          | 0.1436 |
| 0.1222        | 25.1316 | 105000 | 0.1434          | 0.1422 |
| 0.1638        | 25.3710 | 106000 | 0.1419          | 0.1419 |
| 0.2444        | 25.6103 | 107000 | 0.1386          | 0.1424 |
| 0.1222        | 25.8497 | 108000 | 0.1420          | 0.1406 |
| 0.1582        | 26.0890 | 109000 | 0.1401          | 0.1404 |
| 0.1175        | 26.3284 | 110000 | 0.1444          | 0.1412 |
| 0.1263        | 26.5677 | 111000 | 0.1415          | 0.1415 |
| 0.125         | 26.8071 | 112000 | 0.1376          | 0.1395 |
| 0.1209        | 27.0464 | 113000 | 0.1403          | 0.1401 |
| 0.1244        | 27.2858 | 114000 | 0.1417          | 0.1402 |
| 0.1184        | 27.5251 | 115000 | 0.1409          | 0.1390 |
| 0.1138        | 27.7645 | 116000 | 0.1411          | 0.1374 |
| 0.1157        | 28.0038 | 117000 | 0.1387          | 0.1381 |
| 0.1175        | 28.2432 | 118000 | 0.1422          | 0.1393 |
| 0.1151        | 28.4825 | 119000 | 0.1437          | 0.1380 |
| 0.113         | 28.7219 | 120000 | 0.1418          | 0.1373 |
| 0.1209        | 28.9612 | 121000 | 0.1418          | 0.1368 |
| 0.1237        | 29.2006 | 122000 | 0.1376          | 0.1353 |
| 0.1119        | 29.4399 | 123000 | 0.1409          | 0.1368 |
| 0.1064        | 29.6793 | 124000 | 0.1415          | 0.1364 |
| 0.2035        | 29.9186 | 125000 | 0.1384          | 0.1348 |
| 0.117         | 30.1580 | 126000 | 0.1403          | 0.1355 |
| 0.1155        | 30.3973 | 127000 | 0.1430          | 0.1358 |
| 0.1126        | 30.6367 | 128000 | 0.1392          | 0.1348 |
| 0.1305        | 30.8760 | 129000 | 0.1378          | 0.1350 |
| 0.1057        | 31.1154 | 130000 | 0.1425          | 0.1340 |
| 0.1074        | 31.3547 | 131000 | 0.1419          | 0.1348 |
| 0.1097        | 31.5941 | 132000 | 0.1400          | 0.1340 |
| 0.1128        | 31.8334 | 133000 | 0.1401          | 0.1337 |
| 0.1124        | 32.0728 | 134000 | 0.1384          | 0.1336 |
| 0.142         | 32.3121 | 135000 | 0.1409          | 0.1346 |
| 0.1088        | 32.5515 | 136000 | 0.1402          | 0.1321 |
| 0.109         | 32.7908 | 137000 | 0.1415          | 0.1330 |
| 0.0999        | 33.0302 | 138000 | 0.1408          | 0.1325 |
| 0.1042        | 33.2695 | 139000 | 0.1391          | 0.1334 |
| 0.1411        | 33.5089 | 140000 | 0.1402          | 0.1324 |
| 0.1086        | 33.7482 | 141000 | 0.1383          | 0.1315 |
| 0.1026        | 33.9876 | 142000 | 0.1401          | 0.1322 |
| 0.1035        | 34.2269 | 143000 | 0.1431          | 0.1312 |
| 0.1049        | 34.4663 | 144000 | 0.1409          | 0.1306 |
| 0.111         | 34.7056 | 145000 | 0.1406          | 0.1312 |
| 0.1161        | 34.9449 | 146000 | 0.1417          | 0.1305 |
| 0.1001        | 35.1843 | 147000 | 0.1392          | 0.1306 |
| 0.1019        | 35.4236 | 148000 | 0.1380          | 0.1302 |
| 0.1046        | 35.6630 | 149000 | 0.1389          | 0.1306 |
| 0.1057        | 35.9023 | 150000 | 0.1386          | 0.1295 |
| 0.0911        | 36.1417 | 151000 | 0.1403          | 0.1294 |
| 0.1028        | 36.3810 | 152000 | 0.1407          | 0.1292 |
| 0.1118        | 36.6204 | 153000 | 0.1410          | 0.1297 |
| 0.1144        | 36.8597 | 154000 | 0.1367          | 0.1286 |
| 0.1347        | 37.0991 | 155000 | 0.1386          | 0.1290 |
| 0.1073        | 37.3384 | 156000 | 0.1385          | 0.1281 |
| 0.1032        | 37.5778 | 157000 | 0.1405          | 0.1286 |
| 0.0986        | 37.8171 | 158000 | 0.1376          | 0.1279 |
| 0.1225        | 38.0565 | 159000 | 0.1395          | 0.1282 |
| 0.0986        | 38.2958 | 160000 | 0.1399          | 0.1288 |
| 0.1008        | 38.5352 | 161000 | 0.1380          | 0.1281 |
| 0.1073        | 38.7745 | 162000 | 0.1369          | 0.1276 |
| 0.0999        | 39.0139 | 163000 | 0.1395          | 0.1271 |
| 0.1044        | 39.2532 | 164000 | 0.1375          | 0.1267 |
| 0.1038        | 39.4926 | 165000 | 0.1377          | 0.1267 |
| 0.1019        | 39.7319 | 166000 | 0.1413          | 0.1271 |
| 0.0986        | 39.9713 | 167000 | 0.1402          | 0.1267 |
| 0.1269        | 40.2106 | 168000 | 0.1395          | 0.1260 |
| 0.1122        | 40.4500 | 169000 | 0.1404          | 0.1267 |
| 0.1014        | 40.6893 | 170000 | 0.1392          | 0.1265 |
| 0.1032        | 40.9287 | 171000 | 0.1404          | 0.1264 |
| 0.1002        | 41.1680 | 172000 | 0.1380          | 0.1257 |
| 0.1063        | 41.4074 | 173000 | 0.1390          | 0.1256 |
| 0.0974        | 41.6467 | 174000 | 0.1396          | 0.1257 |
| 0.132         | 41.8861 | 175000 | 0.1360          | 0.1252 |
| 0.0956        | 42.1254 | 176000 | 0.1365          | 0.1250 |
| 0.1059        | 42.3648 | 177000 | 0.1379          | 0.1257 |
| 0.0932        | 42.6041 | 178000 | 0.1396          | 0.1258 |
| 0.0984        | 42.8435 | 179000 | 0.1368          | 0.1250 |
| 0.0922        | 43.0828 | 180000 | 0.1403          | 0.1255 |
| 0.0894        | 43.3222 | 181000 | 0.1384          | 0.1247 |
| 0.0969        | 43.5615 | 182000 | 0.1394          | 0.1262 |
| 0.1031        | 43.8009 | 183000 | 0.1342          | 0.1252 |
| 0.1028        | 44.0402 | 184000 | 0.1382          | 0.1252 |
| 0.1079        | 44.2796 | 185000 | 0.1375          | 0.1257 |
| 0.097         | 44.5189 | 186000 | 0.1389          | 0.1248 |
| 0.0914        | 44.7583 | 187000 | 0.1380          | 0.1254 |
| 0.0984        | 44.9976 | 188000 | 0.1366          | 0.1242 |
| 0.0886        | 45.2370 | 189000 | 0.1369          | 0.1246 |
| 0.0926        | 45.4763 | 190000 | 0.1369          | 0.1234 |
| 0.0966        | 45.7157 | 191000 | 0.1384          | 0.1235 |
| 0.0931        | 45.9550 | 192000 | 0.1351          | 0.1236 |
| 0.1066        | 46.1944 | 193000 | 0.1363          | 0.1235 |
| 0.095         | 46.4337 | 194000 | 0.1350          | 0.1231 |
| 0.0961        | 46.6730 | 195000 | 0.1361          | 0.1239 |
| 0.1052        | 46.9124 | 196000 | 0.1356          | 0.1227 |
| 0.0976        | 47.1517 | 197000 | 0.1374          | 0.1240 |
| 0.0962        | 47.3911 | 198000 | 0.1361          | 0.1232 |
| 0.1067        | 47.6304 | 199000 | 0.1359          | 0.1229 |
| 0.0943        | 47.8698 | 200000 | 0.1331          | 0.1223 |
| 0.0905        | 48.1091 | 201000 | 0.1365          | 0.1234 |
| 0.1319        | 48.3485 | 202000 | 0.1371          | 0.1238 |
| 0.1026        | 48.5878 | 203000 | 0.1377          | 0.1237 |
| 0.098         | 48.8272 | 204000 | 0.1391          | 0.1230 |
| 0.0982        | 49.0665 | 205000 | 0.1375          | 0.1226 |
| 0.0957        | 49.3059 | 206000 | 0.1380          | 0.1232 |
| 0.0945        | 49.5452 | 207000 | 0.1373          | 0.1226 |
| 0.0952        | 49.7846 | 208000 | 0.1365          | 0.1223 |
| 0.1038        | 50.0239 | 209000 | 0.1367          | 0.1226 |
| 0.0921        | 50.2633 | 210000 | 0.1357          | 0.1216 |
| 0.0892        | 50.5026 | 211000 | 0.1356          | 0.1222 |
| 0.0892        | 50.7420 | 212000 | 0.1374          | 0.1223 |
| 0.2185        | 50.9813 | 213000 | 0.1371          | 0.1226 |
| 0.0938        | 51.2207 | 214000 | 0.1385          | 0.1223 |
| 0.0925        | 51.4600 | 215000 | 0.1375          | 0.1226 |
| 0.0939        | 51.6994 | 216000 | 0.1369          | 0.1221 |
| 0.0956        | 51.9387 | 217000 | 0.1370          | 0.1220 |
| 0.0916        | 52.1781 | 218000 | 0.1377          | 0.1217 |
| 0.0954        | 52.4174 | 219000 | 0.1377          | 0.1222 |
| 0.0926        | 52.6568 | 220000 | 0.1379          | 0.1217 |
| 0.0887        | 52.8961 | 221000 | 0.1374          | 0.1213 |
| 0.0928        | 53.1355 | 222000 | 0.1374          | 0.1215 |
| 0.0809        | 53.3748 | 223000 | 0.1376          | 0.1213 |
| 0.0957        | 53.6142 | 224000 | 0.1376          | 0.1205 |
| 0.0829        | 53.8535 | 225000 | 0.1376          | 0.1211 |
| 0.0885        | 54.0929 | 226000 | 0.1375          | 0.1210 |
| 0.0962        | 54.3322 | 227000 | 0.1377          | 0.1206 |
| 0.092         | 54.5716 | 228000 | 0.1362          | 0.1204 |
| 0.0829        | 54.8109 | 229000 | 0.1382          | 0.1209 |
| 0.0891        | 55.0503 | 230000 | 0.1379          | 0.1213 |
| 0.0868        | 55.2896 | 231000 | 0.1383          | 0.1215 |
| 0.0825        | 55.5290 | 232000 | 0.1374          | 0.1207 |
| 0.085         | 55.7683 | 233000 | 0.1385          | 0.1213 |
| 0.1107        | 56.0077 | 234000 | 0.1372          | 0.1206 |
| 0.0848        | 56.2470 | 235000 | 0.1382          | 0.1208 |
| 0.0842        | 56.4864 | 236000 | 0.1372          | 0.1204 |
| 0.1249        | 56.7257 | 237000 | 0.1364          | 0.1208 |
| 0.0873        | 56.9651 | 238000 | 0.1375          | 0.1204 |
| 0.0854        | 57.2044 | 239000 | 0.1377          | 0.1203 |
| 0.0892        | 57.4438 | 240000 | 0.1373          | 0.1201 |
| 0.0841        | 57.6831 | 241000 | 0.1375          | 0.1204 |
| 0.093         | 57.9225 | 242000 | 0.1375          | 0.1204 |
| 0.0875        | 58.1618 | 243000 | 0.1368          | 0.1199 |
| 0.0909        | 58.4011 | 244000 | 0.1374          | 0.1202 |
| 0.0918        | 58.6405 | 245000 | 0.1375          | 0.1205 |
| 0.0992        | 58.8798 | 246000 | 0.1369          | 0.1202 |
| 0.0875        | 59.1192 | 247000 | 0.1372          | 0.1202 |
| 0.0915        | 59.3585 | 248000 | 0.1376          | 0.1202 |
| 0.088         | 59.5979 | 249000 | 0.1372          | 0.1202 |
| 0.16          | 59.8372 | 250000 | 0.1375          | 0.1202 |


### Framework versions

- Transformers 4.42.3
- Pytorch 2.3.1+cu121
- Datasets 2.20.0
- Tokenizers 0.19.1