En tidligere bygning ble revet i 1782 og på tomta fikk Gustav III oppført den nåværende imponerende bygningen med fire to etasjer høye søyler i dorisk orden og en bred sandstenstrapp på inngangssiden. Inspirasjon til den nye bygningen fikk Gustav III på sin reise i Italia i 1784. Han engasjerte sannsynligvis Olof Tempelman, som var tilhenger av den nyantikke stilen.