Während der Ersten Türkenbelagerung 1529 wurde das Schloss zerstört. Nach dem Wiederaufbau ging das Anwesen 1551 an die Familie Teuffenbach und 1588 an Sigmund von Hohenburg zu Pranckh. 1654 wurde es schließlich von Eleonora von Mantua, der Gemahlin Kaiser Ferdinand III., erworben. Nach Beschädigungen während der Zweiten Türkenbelagerung 1683 wurde das Schloss von seinem neuen Besitzer, dem Hofbeamten Andreas Schellerer, als frühbarockes Wasserschloss neu errichtet. Im Jahr 1708 verbrachte Elisabeth Christine, die Gattin des späteren Kaisers Karl VI., damals als Karl III. Gegenkönig in Spanien, hier zwei Nächte. Eine in elegischen Distichen verfasste lateinische Inschrift im Stiegenhaus erinnert daran: