Slottet ble oppført i et område hvor det tidligere hadde ligget et kloster. Slottet ble i de følgende generasjoner hovedresidens for hertugsslekten. Slottet ble etter hvert umoderne og ble revet under hertug Frederik Christian I for å gi plass til det nåværende anlegg i senbarokk stil. Byggearbeidene pågikk i årene 1770–1776.