1784 erhvervede den velhavende købmand Pierre Peschier den tidligere ejendom på grunden. Københavns brand 1795 lagde store dele af byen øde og ramte også denne bygning. Peschier besluttede at opføre en statelig bygning, et palæ, som blev opført fra 1795 til 1798.