Во время русско-польской войны 1654-1667 в июле 1654 г. русские войска окружили Мстислав и замок. В результате 4 штурмов 22 июля замок был взят и сожжен, a большинство защитников убито. Стратегическая важность Мстиславского замка способствовала его быстрому восстановлению. В 1660 по приказу царя Мстиславский замок снова сожжен, a 46 его защитников сосланы в Ярославль. В 1676 сейм Речи Посполитой принял решение восстановить замок. Во время Северной войны Мстиславский замок взорван в августе 1708 отступающей армией Петра I. Восстановлен, существовал до 1772 года (год присоединения Мстислава к Российской империи).