Borgens opphav var et kastell fra slutten av 1100-tallet som ble bygget på i flere omganger. Trolig var det Birger jarl som startet borgbyggingen. På Albrekt av Mecklenburgs tid hadde den tyske ridderen Raven van Barnekow borgen i forlening og foretok viktige byggearbeider på slottet. En senere eier var Bo Jonsson Grip.