Las singulares circunstancias del siglo XIX hicieron que esta iglesia fuera a parar a manos de particulares, que la utilizaron durante un tiempo como pajar-establo, hasta que a comienzos del siglo XX fue adquirida por uno de los primeros veraneantes, el doctor Goyanes, quien desmontó las piezas de granito labrado del ruinoso inmueble y las utilizó para la construcción de su mansión en el paraje de Arrollo Mayor, actual albergue juvenil ‘’San Rafael’’.