Festningen forfalt i senmiddelalderen, men ble igjen militært område i 1514. Gjenreisningen ble ledet av lensherren Jørgen Hanssøn som også bygde en ringmur med vollgraver og vindelbro øst for kastellet ca. 1520.