Haydns musikalske begavelse ble oppdaget allerede mens han var en liten gutt, og i 1737/38 ble han i en alder av fem eller seks år sendt til slektninger i nabolandsbyen Hainburg an der Donau for å bli korsanger. I året 1740 ble Haydn oppdaget av den musikalske lederen for Stefansdomen i Wien, Georg von Reutter, som reiste gjennom landet på jakt etter talentfulle korgutter. Reutter tok Haydn med til Wien, og her arbeidet han i ni år som , de siste fire med selskap av sin yngre bror Michael. Her fikk Haydn sang-, klaver-, og fiolinundervisning. Reutter korrigerte Haydns første komposisjoner, men ga ingen regulær komposisjonsundervisning. Likevel lærte Haydn mye, stort sett ved selvstudium, men nok også ved at han allerede i ung alder var profesjonell musiker på et sted hvor han fikk mye befatning med musikk. Kildene sier ikke entydig om det var på denne tiden eller senere han studerte Johann Matthesons og arbeidet seg gjennom kontrapunktøvelsene i Johann Joseph Fux' , men som voksen nevnte han begge som avgjørende for sin utvikling.