Haydn war 29 Jahre alt als ihm eine Vizekapellmeisterstelle beim Fürst Esterhazy in Eisenstadt angeboten wurde, der wichtigsten ungarischen Adels-Familie. Vor seinem Stellenantritt heiratete er Anna Keller. Die Ehe war aber unglücklich und kinderlos, Haydn hatte während seines Lebens mehrere Affären. 1766 wurde er zum livrierten (uniformierten) Kapellmeister bestimmt und der Fürst verpflichtete ihn zum Hauskauf in Eisenstadt, damit er ein repräsentatives Zuhause hatte. Er musste seinem Fürsten auch zu seinen anderen Residenzen begleiten, so verbrachte der vielbeschäftigte Haydn eine Zeit des Jahres bei seiner Frau in Eisenstadt und andere in Wien oder Esterhazy. Als das Schloss Esterhazy zu einem völlig überdimensionierten, absolutistischen Prachtbau ausgebaut wurde, besass es einen grossen Theatersaal, der ein ganzes Orchester unterbrachte. So zogen die Haydns zum neuen Schloss Esterhazy und dort begegnete der 47-jährige der 19-jährigen Luigia Polzelli, die mit ihrem Mann als Sängerin an den Hof engagiert wurde. Sie bekam 1883 einen Sohn, Antonio, von dem man vermutet, dass er Haydns uneheliches Kind war. In diesen Esterhazy Jahren komponierte, inszenierte und dirigierte Haydn ein Werk nach dem andern und wurde zur Unterhaltungsmaschine des Schlosses. Dieser Zustand dauerte bis 1790, als mit dem Tod des Fürsten das Orchester aufgelöst wurde. Haydn ging nach vielen Jahrzenten wieder zurück nach Wien.