Som kronprins hadde Frederik IV vært på dannelsesreise til Italia i perioden 1692–93, og med inspirasjon fra de italienske barokkvillaene, tegnet han selv de første skissene til slottet. Byggingen startet i 1699, få måneder før hans far, Christian V, døde, og Frederik selv ble konge.