Etterhvert ble borgen utbygd og i stor grad ombygd i stein. Det første steintårnet må ha vært på plass allerede i rundt 1220.