Før det forestående stemmeskiftet, forsøkte Reutter forgjeves å få faren til å godta at Haydn ble gjort om til «permanent sopran». I 1749 ble han avskjediget fra koret og satt nesten tomhendt på gaten etter at han hadde klippet hestehalen av gutten foran i koret. Haydn begynte umiddelbart på en karriere som fri musiker. I løpet av denne ti år lange og vanskelige tiden tjente Haydn til livets opphold som musikklærer, gatemusiker og til sist kammertjener for den italienske komponisten og sangpedagogen Nicola Porpora, som også brukte Haydn som klaverakkompagnatør for sine elever. Haydn sa senere at det var av Porpora han lærte grunnlaget for komposisjon. Haydn arbeidet hardt for å fylle lukene i sin utdanning, og skrev til slutt sine første større verk, en strykekvartett og en opera. Haydns profesjonelle anseelse steg gradvis i denne tiden.