Under urolighetene omkring Christian II ble borgen besatt av svenske tropper i 1525-26, for i 1569 å bli rasert etter en storming av hertug Karl under den nordiske syvårskrigen. Anlegget ble med tiden skjult under nedraste jordvoller og lå hengjemt frem til utgravningen i 1892-93.