Am 22. Mai 1665 wurden alte Kupfer für die Wiener Hofburg abtransportiert, "… zum neuen Burgbau das Kupfer vom einfallenden Turm auf dem Neygebauen engefolget." 1683 überstand das Schloss die Türken ohne Zerstörung. Der Kuruzeneinfall am 11. Juni 1704 unter Fürst Franz II. Rákóczy verursachte große Schäden. Auf ihrem Rückweg wurde das Neugebäude in Brand gesteckt. Es beherbergte damals die kaiserliche Menagerie, die meisten der seltenen Tiere wurden getötet.