Hertug Skule inntok borgen etter Arnbjørn Jonssons død i 1240. Videre framover nevnes borgen i kong Magnus Lagabøtes som et statlig fengsel fra 1273, og det tok i mot drapsmenn fra deler av Borgarsyssel.