Das Esterházy-Schloss geht auf eine Burganlage zurück, die Palatin Nikolaus Garai 1408–1432 erbauen ließ. 1626 kam sie durch Erbschaft in den Besitz Nikolaus Esterházys. Während des Rákóczi-Aufstands wurde die Burg zerstört. 1717 begann der Neubau als Barockschloss. Die Bauleitung lag ab 1743 bei Franz Anton Pilgram, dessen groß angelegte Pläne jedoch nur teilweise verwirklicht wurden. Ende der 1750er Jahre erbte Bischof Karl Eszterházy († 1799) das Schloss und ließ es in der größtenteils bis heute erhaltenen Gestalt fertigstellen.