У 1862 перед костелом проходили релігійно-патріотичні антиросійські маніфестації зі співом польського гімну. Ченці підтримали повстання 1863. Влітку 1864 влада Російської імперії закрила костел і монастир. Фрески і скульптури були знищені. В частині приміщень монастиря влаштована в'язниця. В інших монастирських будівлях та храмі розташувались державний і міський архіви, ломбард, склад зброї, притулок Святої Зіти, читальня та інші установи. Згодом у приміщеннях монастиря діяли Литовське наукове товариство ( 1908—1917), двокласна литовська школа (1908—1924); в південному корпусі монастиря (на вулиці Лідос) були заснована філантропом Юзефом Монтвіллем біржа праці, гуртожиток для гімназистів литовської гімназії та інші заклади.