Kongen ønsket selv at slottet skulle ligge på Bellevuehøyden. Området rundt var på denne tiden lite bebygget. Stortinget gav fullmakter til innkjøp av eiendommene, og i 1824 startet grunnarbeidene. Kronprins Oscar godkjente planene i 1825, og 1. oktober samme år la Karl Johan ned grunnsteinen i det som ble fundamentet til alteret i Slottskapellet.