Palasset ble oppført på andre halvdel av 1690-tallet etter tegninger av daværende Nicodemus Tessin d.y. for greve Carl Piper. Piper hadde i 1694 kjøpt en tomt i den nyregulerte delen av Gamla stan som nylig hadde blitt tørrlagt, det var Stockholms første byplanlegging med et rettvinklet gatenett som ble gjennomført etter storbrannen i Stockholm 1625. Imidlertid fikk greve Gabriel Falkenberg leie palasset når det var nybygd, og leide det ennå ifølge manntallet i 1711, noe som har gitt opphav til forveksling av byggherrer. Det kan ved hjelp av kjøpebrev bevises at Piper var tomtens første eier og dermed byggherren. Tessin skapte en U-formet plan og en treetasjes bygning med pussede fasader, inndelt med pilastre. Mot vest og Riddarfjärden var det fløybygninger (som nå er revet) som omsluttet en hage.