En 1792, el obispo, ante el maltrecho estado en que se encontraba la Ermita, ordenó su demolición y, junto con la venta de sus terrenos y materiales sobrantes y los de la parroquia de San Martín, que se edificase una nueva ermita en Rivabellosa.