Danmarks rikes arkiv ble oppbevart i det store tårnet «Folen» ca. 1400-1536. Slottet fikk så omfattende skader i svenskekrigene, at de svenske beleiringstroppene i 1659 lot byens borgere rive slottet.