Más tarde el castillo fue reconstruido y restructurado por los normandos (1128) y por los españoles en sendas ocupaciones.