Familien Bondes skrantende økonomi gjorde det snart nødvendig å leie ut og til slutt selge palasset. I noen år rommet bygningen Svea hovrätt og Kungliga biblioteket, som hadde blitt husløse etter slottsbrannen i 1697. Merkelig nok var det Gustav Bondes enke eller hans sønn, Carl Bonde, som til tross for at familiens økonomi ikke var god, bygde det mindre i Mars-kvartalet, like øst for det store palasset. Gustav Bonde kjøpte i sin tid den tilstøtende tomten fra svogeren Konrad Falkenbergs dødsbo i 1662. Her lagret han materialer, og hadde planer om å bygge en stall. Forskningen har hittil antatt at det var Falkenberg som i 1650 bygget et hus som ble revet i 1930. I skjøtet fra 1662 er det imidlertid bare inkludert materialer for et aldri fullført steinhus.