Slottet ble reist for kong Karl III Johan, men sto ikke helt ferdig før i 1849, under Oscar I. Før slottet sto ferdig bodde de svensk-norske kongelige i det staselige Paleet når de besøkte Christiania. Slottet ble tegnet av danskfødte Hans Ditlev Franciscus von Linstow. Man hadde startet planleggingen i 1821, og året etter la kongen selv frem en stortingsproposisjon. Kostnadene ble anslått til 150 000 speciedaler. Dette ble finansiert gjennom salg av statsobligasjoner. Det ble i 1823 opprettet en Slottskommisjon, som fikk ansvaret for byggeprosessen.