Med den økonomiske sikkerheten som kapellmesterposten ga, giftet Haydn seg i 1760 med Maria Anna Aloysia Apollonia Keller (1729–1800), søsteren til Therese (født 1733), som Haydn hadde vært forelsket i. Ekteskapet var svært ulykkelig: Kona var stridslysten og hadde lite forstand på musikken hans, og paret forble barnløse, noe Haydn var svært lei seg for. Begge tok seg elskere.