Saving weights and logs of step 5000 - epoch 0

README.md

@@ -63,6 +63,7 @@ The following hyperparameters were used during training:
 | step | validation_nst_loss | train_loss | validation_nst_wer | validation_nst_cer | validation_nst_exact_wer | validation_nst_exact_cer | validation_clean_stortinget_no_loss | validation_clean_stortinget_no_wer | validation_clean_stortinget_no_cer | validation_clean_stortinget_no_exact_wer | validation_clean_stortinget_no_exact_cer |
 |:----:|:-------------------:|:----------:|:------------------:|:------------------:|:------------------------:|:------------------------:|:-----------------------------------:|:----------------------------------:|:----------------------------------:|:----------------------------------------:|:----------------------------------------:|
 | 0    | 0.4594              | 1.1239     | 4.7580             | 1.4524             | 5.4984                   | 1.5715                   | 0.5892                              | 11.7267                            | 6.8997                             | 15.1963                                  | 7.4616                                   |
+| 5000 | 0.4884              | 0.6674     | 5.5038             | 1.7824             | 6.2987                   | 1.9002                   | 0.6483                              | 13.0246                            | 7.4564                             | 16.7240                                  | 8.0698                                   |
 
 
 ### Framework versions

flax_model.msgpack

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f36ce95b8121e18f98e7bac7b469860cbc833451eeb7a1d54e084ae9767797c9
+oid sha256:28b6b627dd584188cf05557a4e93030f28784bfb9e406c1aa6012f1165d42240
 size 290384497

predictions/validation_clean_stortinget_no/step_0.md

@@ -1,4 +1,4 @@
-[Step 0](step_0.md)
+[Step 0](step_0.md) | [Step 5000](step_5000.md)
 
 | STEP| loss | wer |cer|
 | ---| --- | --- |--- |

predictions/validation_nst/step_0.md

@@ -1,4 +1,4 @@
-[Step 0](step_0.md)
+[Step 0](step_0.md) | [Step 5000](step_5000.md)
 
 | STEP| loss | wer |cer|
 | ---| --- | --- |--- |

predictions/validation_nst/step_5000.md

@@ -0,0 +1,108 @@
+[Step 0](step_0.md) | [Step 5000](step_5000.md)
+
+| STEP| loss | wer |cer|
+| ---| --- | --- |--- |
+| **5000**| 0.488 | 5.504 |1.782 |
+
+| target                                                                                                                                                                         | prediction                                                                                                                                                                 |
+|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+| Billettene fikk døtrene i **fødselsdagsgave** og julepresang\.                                                                                                                 | Billettene fikk døtrene i **ufødselsdagsgave** og julepresang\.                                                                                                            |
+| Det var godt å høre at ingen var skadet\.                                                                                                                                      | Det var godt å høre at ingen var skadet\.                                                                                                                                  |
+| Hvert slag på trommene er nøye planlagt og gjennomtenkt\.                                                                                                                      | Hvert slag på trommene er nøye planlagt og gjennomtenkt\.                                                                                                                  |
+| Fra midten av november har hun vært sykmeldt\.                                                                                                                                 | Fra midten av november har hun vært sykmeldt\.                                                                                                                             |
+| Problemet er imidlertid at jeg ikke **ordentlig** forstår hva hennes kommentar tilfører av ny informasjon\.                                                                    | Problemet er imidlertid at jeg ikke **ordner** **de** forstår hva hennes kommentar tilfører av ny informasjon\.                                                            |
+| Av historier som i aller høyeste grad er hans egne\.                                                                                                                           | Av historier som i aller høyeste grad er hans egne\.                                                                                                                       |
+| Segregert humor er ikke noe for meg\.                                                                                                                                          | Segregert humor er ikke noe for meg\.                                                                                                                                      |
+| Informasjon er viktig for å fjerne rasisme\.                                                                                                                                   | Informasjon er viktig for å fjerne rasisme\.                                                                                                                               |
+| Det er artig å være nominert\.                                                                                                                                                 | Det er artig å være nominert\.                                                                                                                                             |
+| Slik kan du gjerne si at publikum selv har valgt sangene\.                                                                                                                     | Slik kan du gjerne si at publikum selv har valgt sangene\.                                                                                                                 |
+| Maleriets integritet søkes i **dets** **spesifikke** **og** essensielle egenskaper\.                                                                                           | Maleriets integritet søkes i **et** **spesifikk** essensielle egenskaper\.                                                                                                 |
+| Vi vil til neste vinter undersøke forurensingen i området\.                                                                                                                    | Vi vil til neste vinter undersøke forurensingen i området\.                                                                                                                |
+| Kritikken mot tjenesten har vært massiv og må tas til etterretning\.                                                                                                           | Kritikken mot tjenesten har vært massiv og må tas til etterretning\.                                                                                                       |
+| Det har blitt noe lenger tid i denne saken\.                                                                                                                                   | Det har blitt noe lenger tid i denne saken\.                                                                                                                               |
+| Det har vært et satsingsområde for landenes kulturministre\.                                                                                                                   | Det har vært et satsingsområde for landenes kulturministre\.                                                                                                               |
+| Mytene om tusser og troll levde i beste velgående til langt inn i forrige århundre\.                                                                                           | Mytene om tusser og troll levde i beste velgående til langt inn i forrige århundre\.                                                                                       |
+| Det kan tas hensyn til forhold som farlig skolevei\, skolenes kapasitet og hvor **elevens** **søsken** måtte gå\.                                                              | Det kan tas hensyn til forhold som farlig skolevei\, skolenes kapasitet og hvor **elevene** **skal** måtte gå\.                                                            |
+| Det forundrer oss at ikke arkitekturhistorikeren husker at slike prosesser er historisk legitimert gjennom en rekke eksempler\.                                                | Det forundrer oss at ikke arkitekturhistorikeren husker at slike prosesser er historisk legitimert gjennom en rekke eksempler\.                                            |
+| Den planlagte **sommerturnéen** er dermed kansellert\, selv om alt ser ut til å gå rett vei for **sangeren**\.                                                                 | Den planlagte **sommertunnelen** er dermed kansellert\, selv om alt ser ut til å gå rett vei for **sangeregn**\.                                                           |
+| Varmeutviklingen er så stor at det er helt umulig å ta seg inn til de døde\.                                                                                                   | Varmeutviklingen er så stor at det er helt umulig å ta seg inn til de døde\.                                                                                               |
+| Den planlagte **sommerturnéen** er dermed kansellert\, selv om alt ser ut til å gå rett vei for sangeren\.                                                                     | Den planlagte **sommertunnelen** er dermed kansellert\, selv om alt ser ut til å gå rett vei for sangeren\.                                                                |
+| Den nye sentralbanksjefen begynte å fungere i stillingen i november i fjor\.                                                                                                   | Den nye sentralbanksjefen begynte å fungere i stillingen i november i fjor\.                                                                                               |
+| Ved siden av skolegangen ble fotballen hans viktigste gjøremål\.                                                                                                               | Ved siden av skolegangen ble fotballen hans viktigste gjøremål\.                                                                                                           |
+| Tankevekkende nok later det til at vold har vært gjenstand for folkeforlystelse til alle tider\.                                                                               | Tankevekkende nok later det til at vold har vært gjenstand for folkeforlystelse til alle tider\.                                                                           |
+| Konsertantallet har ikke avtatt nevneverdig med årene\.                                                                                                                        | Konsertantallet har ikke avtatt nevneverdig med årene\.                                                                                                                    |
+| Vanligvis består **opplæringen** av å reise mindre byggverk inne i en **verkstedhall**\.                                                                                       | Vanligvis består **opplegget** av å reise mindre byggverk inne i en **verstehall**\.                                                                                       |
+| Det gigantiske arrangementet med **folkloreinnslag**\, kunst og fantastisk underholdning imponerte stort\.                                                                     | Det gigantiske arrangementet med **folklorieinnslag**\, kunst og fantastisk underholdning imponerte stort\.                                                                |
+| Det finnes imidlertid ikke noen absolutte grenser for hva som er virkelig **effektiv** og mindre **effektiv** behandling\.                                                     | Det finnes imidlertid ikke noen absolutte grenser for hva som er virkelig **effektivt** og mindre **effektivt** behandling\.                                               |
+| Skolen ønsker å utdanne artister som mestrer både sang\, dans og drama\.                                                                                                       | Skolen ønsker å utdanne artister som mestrer både sang\, dans og drama\.                                                                                                   |
+| Som første kvinne består hun det interne lederkurset**\,** og **karriéren** skyter på ny fart\.                                                                                | Som første kvinne består hun det interne lederkurset og **karrieren** skyter på ny fart\.                                                                                  |
+| I tillegg til disse to tok **fylkessykehuset** **i** **mot** en pasient med armskader til poliklinisk behandling\.                                                             | I tillegg til disse to tok **fylkeshuset** **imot** en pasient med armskader til poliklinisk behandling\.                                                                  |
+| Han var høyt respektert og sto i en klasse for seg\.                                                                                                                           | Han var høyt respektert og sto i en klasse for seg\.                                                                                                                       |
+| Konserten er imidlertid velklingende for soloinstrumentet\.                                                                                                                    | Konserten er imidlertid velklingende for soloinstrumentet\.                                                                                                                |
+| De som ikke vil\, de skal\.                                                                                                                                                    | De som ikke vil\, de skal\.                                                                                                                                                |
+| Steker du kjøttet for lenge\, blir det seigt\.                                                                                                                                 | Steker du kjøttet for lenge\, blir det seigt\.                                                                                                                             |
+| Hans direkte form og spissformuleringer ble verdsatt\.                                                                                                                         | Hans direkte form og spissformuleringer ble verdsatt\.                                                                                                                     |
+| I kveld spiller de i byen\.                                                                                                                                                    | I kveld spiller de i byen\.                                                                                                                                                |
+| **Syv** filippinere\, den burmesiske kapteinen og nederlenderen er reddet\.                                                                                                    | **Sju** filippinere\, den burmesiske kapteinen og nederlenderen er reddet\.                                                                                                |
+| Undertegnedes mening er at ved bruk av midlertidig **kjøreadkomst\,** kan bygging av skolen starte umiddelbart og permanent **kjøreadkomst** utredes parallelt med byggingen\. | Undertegnedes mening er at ved bruk av midlertidig **kjørankomst** kan bygging av skolen starte umiddelbart og permanent **kjørankomst** utredes parallelt med byggingen\. |
+| Ekspertene antyder at prisen vil gå ned allerede i løpet av året\.                                                                                                             | Ekspertene antyder at prisen vil gå ned allerede i løpet av året\.                                                                                                         |
+| Det kan det faktisk bli bråk av\.                                                                                                                                              | Det kan det faktisk bli bråk av\.                                                                                                                                          |
+| Jeg kan løpe av **meg** ergrelser og frustrasjoner\.                                                                                                                           | Jeg kan løpe av **med** ergrelser og frustrasjoner\.                                                                                                                       |
+| Hun understreker at reglene ikke innebærer at norske **ferger** i norske havner kan friste reisende med kasino i fremtiden\.                                                   | Hun understreker at reglene ikke innebærer at norske **ferjer** i norske havner kan friste reisende med kasino i fremtiden\.                                               |
+| **Bråta** **sier** at det ikke skal være fare for nye ras\, men at man ikke har noen garanti for dette\.                                                                       | **Bråtasier** det ikke skal være fare for nye ras\, men at man ikke har noen garanti for dette\.                                                                           |
+| I stedet for å importere arbeidskraft fra utlandet\, kan de bruke oss som er her\.                                                                                             | I stedet for å importere arbeidskraft fra utlandet\, kan de bruke oss som er her\.                                                                                         |
+| Hvis avtalen om distribusjon og salg av bøker i **kongeriket** faller\, kan vi vente oss et helt annet bokmarked\.                                                             | Hvis avtalen om distribusjon og salg av bøker i **kongerike** faller\, kan vi vente oss et helt annet bokmarked\.                                                          |
+| Et slikt system vil alle bydelene tape på **over** **tid**\.                                                                                                                   | Et slikt system vil alle bydelene tape på **overtid**\.                                                                                                                    |
+| Jeg tror norske interesser vil komme inn\.                                                                                                                                     | Jeg tror norske interesser vil komme inn\.                                                                                                                                 |
+| Du mener at svært mange tar feil\.                                                                                                                                             | Du mener at svært mange tar feil\.                                                                                                                                         |
+| Den eneste muligheten for at det norske **domenenavnet** skal bli tatt\, er at to bedrifter heter det samme\.                                                                  | Den eneste muligheten for at det norske **domennavnet** skal bli tatt\, er at to bedrifter heter det samme\.                                                               |
+| Fiskeindustrien har henvendt seg til fiskeriministeren for å gi uttrykk for sin frykt for å miste råstoff\.                                                                    | Fiskeindustrien har henvendt seg til fiskeriministeren for å gi uttrykk for sin frykt for å miste råstoff\.                                                                |
+| Det er dessuten en perle av en **musical**\.                                                                                                                                   | Det er dessuten en perle av en **musikal**\.                                                                                                                               |
+| Han er spent**\,** og regner med at programformen trenger litt tid for å sitte\.                                                                                               | Han er spent og regner med at programformen trenger litt tid for å sitte\.                                                                                                 |
+| Man kan ikke **hypnotiseres** til handlinger som strider mot vedkommendes personlighet\.                                                                                       | Man kan ikke **hypnotisere** til handlinger som strider mot vedkommendes personlighet\.                                                                                    |
+| Jeg tror bestemt at konsernet har videre motiver\.                                                                                                                             | Jeg tror bestemt at konsernet har videre motiver\.                                                                                                                         |
+| Problemene med å organisere seg kommer klart frem i **antallet** meglinger for å få tariffavtaler\.                                                                            | Problemene med å organisere seg kommer klart frem i **antall** meglinger for å få tariffavtaler\.                                                                          |
+| Hos mange går fagene derfor ikke fri for kritikken av den moderne samfunnsutvikling\.                                                                                          | Hos mange går fagene derfor ikke fri for kritikken av den moderne samfunnsutvikling\.                                                                                      |
+| Han minner om at ordet på gresk opprinnelig betød den kunnskap som kommer gjennom sansene\.                                                                                    | Han minner om at ordet på gresk opprinnelig betød den kunnskap som kommer gjennom sansene\.                                                                                |
+| I stedet for å importere arbeidskraft fra utlandet\, kan de bruke oss som er her\.                                                                                             | I stedet for å importere arbeidskraft fra utlandet\, kan de bruke oss som er her\.                                                                                         |
+| I norrøn tid var **genitiv** i flittig bruk\, og også **akkusativ** og dativ\.                                                                                                 | I norrøn tid var **genetiv** i flittig bruk\, og også **akustativ** og dativ\.                                                                                             |
+| Kritikken mot tjenesten har vært massiv **og** **må** **tas** til etterretning\.                                                                                               | Kritikken mot tjenesten har vært massiv **om** **å** **ta** til etterretning\.                                                                                             |
+| Rusmiddelsekretariatet har hatt problemer med å finne et nytt sted til beboerne\.                                                                                              | Rusmiddelsekretariatet har hatt problemer med å finne et nytt sted til beboerne\.                                                                                          |
+| Det er viktig for at alle **fremtidige** generasjoner skal kunne oppleve de synlige tegn på vår eldste historie\.                                                              | Det er viktig for at alle **framtidige** generasjoner skal kunne oppleve de synlige tegn på vår eldste historie\.                                                          |
+| Han var en beskjeden mann som ønsket minst mulig oppmerksomhet om seg selv\.                                                                                                   | Han var en beskjeden mann som ønsket minst mulig oppmerksomhet om seg selv\.                                                                                               |
+| Det er dessuten en perle av en **musical**\.                                                                                                                                   | Det er dessuten en perle av en **musikal**\.                                                                                                                               |
+| Problemet er imidlertid at jeg ikke ordentlig forstår hva hennes kommentar tilfører av ny informasjon\.                                                                        | Problemet er imidlertid at jeg ikke ordentlig forstår hva hennes kommentar tilfører av ny informasjon\.                                                                    |
+| Olsen er den reelle forvalter av milliardverdiene\.                                                                                                                            | Olsen er den reelle forvalter av milliardverdiene\.                                                                                                                        |
+| Stemningen inne på intensivavdelingen er underlig\.                                                                                                                            | Stemningen inne på intensivavdelingen er underlig\.                                                                                                                        |
+| Folk liker **og** **er** glad i disse bygningene\.                                                                                                                             | Folk liker **å** **være** glad i disse bygningene\.                                                                                                                        |
+| Du har ditt på det tørre\.                                                                                                                                                     | Du har ditt på det tørre\.                                                                                                                                                 |
+| Man **reviderer** dagens lokalisering av bomsystemet**\,** og etablerer en indre bomring\.                                                                                     | Man **rekrutterer** dagens lokalisering av bomsystemet og etablerer en indre bomring\.                                                                                     |
+| Flyplassen ble stengt for vanlig trafikk\.                                                                                                                                     | Flyplassen ble stengt for vanlig trafikk\.                                                                                                                                 |
+| Når man diskuterer en ting\, så skal man gjøre det saklig\.                                                                                                                    | Når man diskuterer en ting\, så skal man gjøre det saklig\.                                                                                                                |
+| Spørsmålet om kugalskap kan smitte over på mennesker og føre til en dødelig hjernesykdom\, er blitt underordnet\.                                                              | Spørsmålet om kugalskap kan smitte over på mennesker og føre til en dødelig hjernesykdom\, er blitt underordnet\.                                                          |
+| Kort tid etter sto **farkosten** i full fyr\.                                                                                                                                  | Kort tid etter sto **fagkosten** i full fyr\.                                                                                                                              |
+| Han ser for seg delprosjekter av høy kvalitet\, der innspill med **klare** forskningsmål og tverrfaglig karakter blir prioritert\.                                             | Han ser for seg delprosjekter av høy kvalitet\, der innspill med **klar** forskningsmål og tverrfaglig karakter blir prioritert\.                                          |
+| Fem utlendinger møter storparten av den norske juniorelite de kommende fem dager\.                                                                                             | Fem utlendinger møter storparten av den norske juniorelite de kommende fem dager\.                                                                                         |
+| Hun tar seg en måned fri hvert år\.                                                                                                                                            | Hun tar seg en måned fri hvert år\.                                                                                                                                        |
+| De spiller en avansert form for rock som krever sitt av musikerne\, men her er det publikum som gir klart mest\.                                                               | De spiller en avansert form for rock\, som krever sitt av musikerne\, men her er det publikum som gir klart mest\.                                                         |
+| Disse kommer i stand gjennom forhandlinger\.                                                                                                                                   | Disse kommer i stand gjennom forhandlinger\.                                                                                                                               |
+| Det skal også utvikles regionale utviklingsprogrammer der formålet er å få de forskjellige kommuner og bedrifter i regionene til å samarbeide bedre\.                          | Det skal også utvikles regionale utviklingsprogrammer der formålet er å få de forskjellige kommuner og bedrifter i regionene til å samarbeide bedre\.                      |
+| Kommuner som ønsker å gi tillatelse til bygging av slike sentre\, må søke om dispensasjon\.                                                                                    | Kommuner som ønsker å gi tillatelse til bygging av slike sentre\, må søke om dispensasjon\.                                                                                |
+| Dette viser at tilsynsorganenes innsats for røykfritt miljø nytter\, understreker hun\.                                                                                        | Dette viser **til** at tilsynsorganenes innsats for røykfritt miljø nytter\, understreker hun\.                                                                            |
+| Han sier også at det er første gang det er inngått en slik avtale i vår del av verden\.                                                                                        | Han sier også at det første gang det er inngått en slik avtale i vår del av verden\.                                                                                       |
+| Hun har gitt seg i kast med et krevende trekantdrama\, en fortelling om kjærlighetstyven som prøver å stjele en **annen** **manns** liv\.                                      | Hun har gitt seg i kast med et krevende trekantdrama\, en fortelling om kjærlighetstyven som prøver å stjele en **annens** liv\.                                           |
+| Her kan vi sitte i fred og prate og nyte maten\.                                                                                                                               | Her kan vi sitte i fred og prate og nyte maten\.                                                                                                                           |
+| Det var to personer i kassebilen\, den ene av dem fikk lettere skader\.                                                                                                        | Det var to personer i kassebilen\, den ene av dem fikk lettere skader\.                                                                                                    |
+| I beste forstand var han **entertainer** og behersket situasjonen og publikum med en **scenekunstners** finesser\.                                                             | I beste forstand var han en **teiner** og behersket situasjonen og publikum med en **scenekunstens** finesser\.                                                            |
+| De bare mottar og mottar uten å løfte en finger\.                                                                                                                              | De bare mottar og mottar uten å løfte en finger\.                                                                                                                          |
+| Det går ikke\, sier han\.                                                                                                                                                      | Det går ikke\, sier han\.                                                                                                                                                  |
+| De har et annet språk\, en annen verden som de forholder seg til\.                                                                                                             | De har et annet språk\, en annen verden som de forholder seg til\.                                                                                                         |
+| Det skal også utvikles regionale utviklingsprogrammer der formålet er å få de forskjellige kommuner og bedrifter i regionene til å samarbeide bedre\.                          | Det skal også utvikles regionale utviklingsprogrammer**\,** der formålet er å få de forskjellige kommuner og bedrifter i regionene til å samarbeide bedre\.                |
+| Det er sterk vekst i røykerelaterte sykdommer\.                                                                                                                                | Det er sterk vekst i røykerelaterte sykdommer\.                                                                                                                            |
+| I stedet for å importere arbeidskraft fra utlandet\, kan de bruke oss som er her\.                                                                                             | I stedet for å importere arbeidskraft fra utlandet\, kan de bruke oss som er her\.                                                                                         |
+| Begge tror det kan ta lang tid før de er tilbake på jobb\.                                                                                                                     | Begge tror **at** det kan ta lang tid før de er tilbake på jobb\.                                                                                                          |
+| Det skal være en av grunnene til at andre land ikke har gått med på den franske **planen**\.                                                                                   | Det skal være en av grunnene til at andre land ikke har gått med på den franske **plan**\.                                                                                 |
+| Hun er oppvokst med krypdyr i alle varianter\.                                                                                                                                 | Hun er oppvokst med krypdyr i alle varianter\.                                                                                                                             |
+| Mange reagerer på at det røykes der de skal raste\.                                                                                                                            | Mange reagerer på at det røykes der de skal raste\.                                                                                                                        |
+| Det vil **trolig** øke muligheten og faren for konflikter mellom ulike befolkningsgrupper i fremtiden\.                                                                        | Det vil **trodelig** øke muligheten og faren for konflikter mellom ulike befolkningsgrupper i fremtiden\.                                                                  |
+| Kort tid etter sto farkosten i full fyr\.                                                                                                                                      | Kort tid etter sto farkosten i full fyr\.                                                                                                                                  |

runs/Jan07_21-32-22_t1v-n-62dd7b00-w-1/events.out.tfevents.1704663143.t1v-n-62dd7b00-w-1.19954.0.v2

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c29be1aab655d89775525b91d5a61d9e59f4ae391d86e59654d1dbbad6f01886
-size 159107
+oid sha256:e8f0f2d10fdd1a9bde203098aad8ab2017086be9a6bb9338df5c9ca508abc704
+size 1788906

training_state.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:3d27a88bb43bf2f4c1044de5104dcb37e29c8a3670d0fddc0f2bd180f02bca69
-size 595
+oid sha256:7c7a77a938d39c081c336a289ddea097f35f0db245628b89d5fc7c75e520d0e1
+size 1167