In der Südostecke des Gartens befanden sich um 1900 zwei damals recht bekannte Dresdner Gebäude. Dem Postplatz näher lag das 1870 eröffnete "Gewerbehaus" des Dresdner Gewerbevereins, dessen für 2.000 Personen Platz bietender Saal die erste Spielstätte der Dresdner Philharmonie war, die damals noch "Gewerbehauskapelle" hieß. Nordwestlich benachbart war das Logenhaus für die beiden Freimaurerlogen "Zu den drei Schwertern und Asträa zur grünenden Raute" und "Zum Goldenen Apfel". Noch weiter stadtauswärts, an der Ostra-Allee unmittelbar nach dem Orangeriegebäude, lag das stattliche Gründerzeithaus "Hotel und Restaurant Herzogin Garten" (früher: Hotel Baviere). Das Museum für Tierkunde und Völkerkunde, damals auf der gegenüberliegenden Straßenseite im Zwinger untergebracht, erhielt im Jahre 1920 zusätzliche Depot- und Sonderausstellungsräume im Orangeriegebäude in der Herzogin Garten. Als die gesamte Gartenanlage und mit ihr auch das Orangeriegebäude bei den anglo-amerikanischen Luftangriffen im Februar 1945 zerstört wurden, gingen dem Museum auch bedeutende Großobjekte verloren. Das Gelände verwahrloste im Anschluss an den Zweiten Weltkrieg, da ein Wiederaufbau nicht vorgesehen war. Die Wettiner wurden nach Kriegsende kurzerhand enteignet, erhielten den Besitz in den 1990er Jahren aber wieder zurück. Da während der DDR-Zeit Namen, die an die Monarchie erinnerten, nicht mit dem politischen System vereinbar waren, hießen das Gelände damals vorübergehend "Ostragarten" und die benachbarte Straße entsprechend "Am Ostragarten".