Faren var vertshuseier og drosjekusk. Syv år gammel ble Johann Georg korgutt i Stift Klosterneuburg, hvor han lærte orgelspill og grunnleggende musikkteori. I 1749 ble opptatt ved koret i Stiftsgymnasium Melk, og i 1753 reiste han til Wien for å studere filosofi ved jesuittseminariet. Han ble der venn med Michael Haydn, og via ham også kjent med broren Joseph Haydn.