På stedet hvor slottet ble bygget hadde det tidligere stått et mindre jaktslott oppført på slutten av 1500-tallet av Frederik II og Christian IV. Før det hadde det vært en adelsgård kalt Hørningsholm, som hadde vært i kronens eie siden 1391. Jaktslottet tilhørte i årene 1700–21 Frederik IVs dronning Louise, som moderniserte det og lot oppføre en del av de gule bygningene som stadig eksisterer i dag.