Antes del siglo V debido a su interés estratégico se levantaba en una de las peñas más altas un castro de defensa romano llamado "Castellum Bilibium" del que todavía se puede ver una de sus murallas.