I likhet med sin langt mer kjente bror Joseph, var Michael korgutt i Stefansdomen i Wien. Etter korskolen ble han først fiolinist og i 1760 kapellmester hos biskopen i Oradea. Michael Haydn skrev i 1763 en hornkornsert som skapte oppmerksomhet i Wien, og erkebiskopen i Salzburg utnevnte ham 14. august samme år til . Senere ble han i tillegg organist ved Trefoldighetskirken, og tilslutt også ved domkirken. Michael Haydn var 43 år i Salzburg og i denne tiden skrev han 360 verdslige og kirkemusikalske verk. Han var venn av Mozart, og de to hadde gjensidig respekt for hverandres komposisjoner. Carl Maria von Weber og Anton Diabelli var elever av Michael Haydn.