Fue ampliado considerablemente por Carlos V, dotándole de una gran plataforma artillera rectangular a la que debemos la representativa fachada actual del edificio.