En 1836, en plena desamortización de Mendizábal se traslada la imagen de la Virgen a la parroquia de Santa María la Mayor de Barruelo, y tan sólo se permite a dos frailes permanecer en el santuario para sólo unos pocos frailes en el recinto encargados de su conservación.