Utbygger var Regner Leuhusen, som da var understattholder på slottet i Stockholm. Den 12. oktober 1649 ble huset kjøpt av Dronning Kristina, men bare et par måneder senere, 20. desember 1649, donerte hun det til sin slektning, Adolf Johan av Pfalz. På midten av 1660-det var eiet av grev Klas Thott. Han overførte huset til flere forskjellige personer, og etter diverse eierskifter ble det ble besluttet at eierskapet skulle overføres til Maria Kristina Wrangel den 10. juli 1686. Etter hennes død ble det arvet av hennes døtre, Aurora og Amalia Wilhelmina. De solgte huset like etter og den 20. juli 1692 ble huset kjøpt av rådmannen Olof Hansson Torner, som, imidlertid allerede samme dag overlot det til sin svigersønn grev Carl Piper. Etter ham ble eiendommen også kalt , som ikke må forveksles med Piperska palatset som Carl Piper bygde i det tilstøtende kvartal Memnon. Huset forble i samme families eie frem til 1753, da Kong Adolf Fredrik kjøpte huset, og det ble brukt av kadettkorpset han opprettet.