У 1863—1864 гадах, пасля разгрому нацыянальна-вызваленчага паўстання Кастуся Каліноўскага, царскім указам у Беларусі было зачынена дзевятнаццаць бернардынскіх касцёлаў, сярод якіх быў рагачоўскі.