El siglo XIX supuso para el santuario un periodo de decandencia, trasladándose numerosas veces la imagen de la Virgen a la villa de Cuéllar.