После восстания 1831 года монастырь был в 1832 году (или 1834) упразднён, костёл был закрыт. По ходатайству православного митрополита Иосифа (Семашко) монастырские постройки и здание храма были переданы в 1846 году Свято-Духову монастырю и архиерейскому дому. Здесь была устроена летняя резиденция митрополита. Костёл в 1849 году был переоборудован в церковь во имя Святого Иосифа Обручника. Иконостас для церкви был изготовлен академиком И. Ф. Хруцким. Монастырские постройки были отремонтированы, на территории бывшего монастыря был разбит фруктовый сад.