Bajo el reinado de Enrique I fue erigida la torre del homenaje del castillo y en época de Isabel I, para protegerlo de un eventual ataque de la Armada Invencible, se rodeó de una elaborada fortificación pentagonal diseñada por Sir George Carey.