I 1487 overlot Ivar Axelsson borgen til kong Hans, som innsatte den skånske ridderen Jens Holgersen Ulfstand som høvedsmann, fulgt av Laurens Schinkel i 1509 og Søren Norby i 1517. Norby holdt borgen til 1525, da den ble overlatt til kong Frederik I.