Det antas at slottet ble anlagt i 1175 av Knut Prislavsen, Valdemar I av Danmarks søstersønn. Ikke mange årene etter ble det overtatt av Kronen og det har opp gjennom århundrene blitt benyttet i flere viktige sammenhenger. Slottets riddersal ble fra midten av 1200-tallet brukt som samlingssted for Danehoffer - riksforsamlinger - og det var her Erik Klipping undertegnet håndfestningen sin i 1282.