På 1730-tallet bodde Hedvig Taube, Fredrik Is elskerinne i huset. Kongen selv bodde i det nærliggende Wrangels palass sammen med dronning Ulrika Eleonora.