Slottet er oppført til og oppkalt etter kong Christian VI av Danmark-Norges' søster Charlotte Amalie i 1731–33, antagelig av arkitekten Johan Cornelius Krieger under ingeniøroffiseren H.H. Scheels ledelse. I virkeligheten var det ikke et nytt slott, men en ombygning og utvidelse av et eldre lystslott, kalt Gyldenlund.