Падчас Шведскага патопу і падзелаў Рэчы Паспалітай, у замку адбыліся велізарныя знішчэнні. Комплекс паступова страчваў абароннае значэнне. Замак, асабліва яго жылая частка, быў часткова разабраны, а цагліны выкарыстаныя да будаўніцтва піваварнага заводу ў недалёкай Апінагуры.