An der Stelle des späteren Schlossgebäudes im Zentrum des Ortes Altmannsdorf befand sich ursprünglich ein als Oswaldhof bezeichneter Gutshof. Das Gut umfasste 2 Lehen, 14 Hofstätten und dazugehörige Äcker „unterhalb des Wienerberges“ und bildete im 15. Jahrhundert mit der Kapelle St. Oswald (siehe Altmannsdorfer Kirche), dem Oswaldhof und einem Halterhaus eine Einheit. Der Eigentümer, der Wiener Bürger und Ratsherrn Erhart Griesser, vererbte 1444 den Besitz an den Orden der Beschuhten Augustiner auf der Landstraße. Die Augustiner richteten sogleich ihren Verwaltungssitz (Augustinerhof) ein und übten fortan die Grundherrschaft über Altmannsdorf aus, bewirtschafteten die zum Hof gehörenden Grundstücke jedoch nicht. Die Kampfhandlungen während der ersten Türkenbelagerung Wiens 1529 zerstörten das Gebäude. Das erst 1539 notdürftig wiederaufgebaute Gebäude verlieh man 1570 einem niederösterreichischen Kammerherrn als Leibgedinge. Nach einigen weiteren Lehensbesitzern übernahmen es 1652 wieder die Augustiner. Bei der zweiten Türkenbelagerung Wiens 1683 wurde der Wirtschaftshof erneut zerstört und danach mit Veränderungen wiederaufgebaut.