Bygningen ble svært skadet etter at festningsanlegget ble inntatt under Den polsk-russiske krig (1654–1667) og sto forlatt i nesten 150 år. Etter at Storfyrstedømmet Litauen ble en del av Det russiske keiserdømmet i 1795 som følge av den tredje delingen av Polen-Litauen, ble det revet i 1801.