En el siglo XVI los eremitas lo eligieron como lugar de recogimiento, fundando la Ermita de San Antonio que, a la postre, dio nombre al cabo.