После подавления восстания 1830 года храм и кармелитский монастырь в Гудогае были закрыты, а икона перенесена в храм в Ошмянах. В 1906 году гудогайский католический приход был восстановлен, годом позже в храм Посещения возвращена икона.