W 1863 roku w odwecie za udział Łopacińskiego w Powstaniu Styczniowym (Ignacy Dominik Łopaciński był członkiem władz powstańczych) pałac był splądrowany i zniszczony przez kozaków, po czym został opuszczony, a główną siedzibę rodu przeniesiono do Sarii, położonej po drugiej stronie Dźwiny.