De opprinnelige bygningene kan dateres tilbake til 1200-tallet og tilhørte dengang biskopen av Ribe. Det het opprinnelig Møgeltønderhus. I forbindelse med reformasjonen ble eiendommen overtatt av Kronen og i 1661 kom den i familien Schacks eie. Det er kjent som Schackenborg slott fra dette tidspunkt. Selve slottet slik det fremstår i dag, ble oppført i 1664–1667 på de gamle vollene som lå på området. Slottet er senere bygget om.