1357 übernahm Peter von Ebersdorf den Herrenhof. Er war als prominenter Zeuge anwesend, als Herzog Rudolf der Stifter am 12. März 1365 mit seinen Brüdern Albrecht und Leopold den Stiftungsbrief für die Alma Mater Rudolphina siegelte. 1499 ging durch Maximilian I., den "letzten Ritter", Ebersdorf in kaiserlichen Besitz über. 1529 brach im Zuge der Belagerung Wiens das osmanische Heer unter Sultan Soliman zum ersten Mal über das Schloss herein; es wurde beim Abbruch der Belagerung der Stadt als Brandruine hinterlassen.