I 1265 ble borgen erobret av Erik Klipping, men ble gitt tilbake til erkebiskopen i 1276. Erik Menved var utilfreds med at fredløse kunne søke ly på borgen, og i 1319 lyktes det riksmarskalk Ludvig Albertsen Eberstein å innta borgen. Eberstein var først kongens representant på borgen, men da den i 1321 ble gitt tilbake til erkebiskopen av Kristoffer II av Danmark, ble han borgherre for erkebispesetet i Lund. I 1324- 1325 forsvarte han borgen mot angrep og beleiring av riksmarskalk Peder Vendelbo. Etter 16 måneders beleiring overga Eberstein seg og kong Valdemar Atterdag overtok herredømmet over borgen, men ga den kort tid etter tilbake til erkebispesetet. Erkebispesetet beholdt borgen inntil 1522, da Christian II av Danmark, Norge og Sverige gjorde krav på Hammershus og deretter satte biskopen fra Odense, Jens Andersen Beldenak, i varetekt på borgen.