Michaels far, Mathias Haydn, var hjulmaker og landsbyens (en borgermesterlignende funksjon). Moren Maria Koller arbeidet tidligere som kokke ved slottet til grev Harrach, aristokraten i Rohrau. Mathias var en entusiastisk folkemusiker som hadde lært seg å spille harpe, og han sørget for at barna lærte seg å synge.