Монахи, обосновавшиеся в бывшем дворце Сангушки, соорудили часовню. Позднее во дворце действовала духовная семинария, располагавшая большой библиотекой (в 1820 году насчитывала 6769 книг). В семинарии в 1773—1775 годах учился, а в 1775 году преподавал математику Лауринас Стуока-Гуцявичюс, впоследствии известный литовский архитектор. С 1803 года здесь же действовала приходская школа. Часть здания в 1807 году занял военный госпиталь, в первой половине XIX века — тюрьма. В 1831 году в ней содержались взятые в плен участники восстания 1830—1831 годов, а также подозреваемые в причастности к восстанию. Отсюда они направлялись в другие тюрьмы — в Ригу, Смоленск, Дерпт. Позднее здесь же содержались в заключении арестованные участники созданной Шимоном Конарским конспиративной сети «Союза польского народа» и другие члены различных тайных организаций.