Más adelante en plena Reconquista la familia Dávila construyó un castillo como lugar de defensa para la población local ante las rafias árabes que venían del sur.