I 1452 ble borgen brent av svenskene under ledelse av Karl Knutssøn Bonde. Etter dette ble anlegget overtatt av erkebiskopen av Lund. Det ble oppført et eget kapell og en stor tårnbygning som skulle tjene som erkebiskopens privatbolig. Denne står fortsatt, selv om den gjennomgikk en hardhendt restaurering i 1870-årene.