Der ungarische König Matthias Corvinus soll von hier aus die Belagerung von Wiener Neustadt geplant haben. Nach der Wiedereroberung durch habsburgische Truppen und dem Tod des letzten Vertreters der Besitzerfamilie, der Pottendorfer, fiel die Herrschaft Ebenfurth dem Landesherren anheim. In der Folge wurde Schloss Ebenfurth mehrfach verpfändet, aber auch als Festung gegen Türkeneinfälle ausgebaut. Der osmanische Vorstoß 1529, der auch zur Belagerung von Wien führte, hinterließ an der Burg beträchtliche Schäden. Der kaiserliche Baumeister der NÖ-Lande Hans Saphoy ist beim Schloss Ebenfurth ab 1571 dokumentiert.