Det sydlige rundtårnet er fra Gustav Vasas befestningsverk fra 1530-tallet. Fra rundt 1630 var bygningen palass for Lars Eriksson Sparre. Det ble bygget om i perioden 1652–1670 av arkitekt Nicodemus Tessin den eldre for Carl Gustaf Wrangel. Det ble bygget om etter en brann i 1693 og igjen etter brannen på Tre Kronor i 1697, da Wrangels palass ble gjort om til kongelig residens. På denne tiden ble palasset omtalt som og det var bosted for kongehoffet helt frem til Stockholms slott sto klart i 1754, det vil si i 57 år.