Huset ble opprinnelig tegnet av Nicodemus Tessin d.e. som hans eget palass og ble oppført i 1674. På 1770-tallet og senere var kjøpmannsfamilien Tottie gjennom Anders Tottie (1739-1816) eier av eiendommen. Tottie hadde sammen med kjøpmannsfamilien Arfwedson gjennom Carl Kristoffer Arfwedson (1735-1826) handelshuset i bygningen. Det var da Sveriges største handelshus. Gjennom inngifte var Tottie dessuten forbundet med slekten Hebbe og Küsel, som tilhørte den såkalte .