Etter arv til barna ble det i 1758 solgt av eierfamilien Piper til forretningsmannen og politikeren Gustaf Kierman som fikk bygd om huset. Taketasjen og etasjen ovenfor taklisten tilkom på 1760-tallet med Jean Eric Rehn som arkitekt. Kierman selv ble tvunget bort fra palasset etter en finansskandale med politisk fortegn og ble sperret inne på Marstrands fästning der han senere døde i 1766.