Slottet ble grunnlagt av Valdemar den store rundt 1160som ledd i det danske rikes forsvar mot vendernes herjinger. På 1300- og 1400-tallet ble forsvarsanlegget bygget ut til en sterk middelalderborg og den var skiftevis i de danske kongenes og de slesvigske hertugenes besittelse. I pinsen 1340 ble junker Valdemar, den senere Valdemar Atterdag, gift på slottet med hertug Valdemar av Sønderjyllands søster prinsesse Helvig. Dette var et viktig ledd i hans utnevnelse til konge senere samme år.