Etter Goldt var Peder L. M. Bull eier av Nøisomhed noen år, før eiendommen ble overtatt av amtmann Ole Hannibal Sommerfeldt, som flyttet inn i 1808. Han oppførte fløybygningen med kontor for amtmannsembetet. Allerede i 1812 ble eiendommen solgt videre til den nye amtmannen, og eidsvollsmannen Hilmar Meincke Krohg stod som eier frem til sin død i 1851. Deretter var Nøisomhed eid av Krohgs enke og sønn, før kjøpmannen Bastian Width overtok i 1870 som den første av en lang rekke kjøpmenn.