Durante el siglo V, cuando el hostigamiento de los vándalos venidos de África hizo la vida difícil en Ercula, sus habitantes se retiraron hacia el promontorio, que ofrecía mayores facilidades para su defensa.