С течением времени Новогрудский замок утратил своё стратегическое положение, начал разрушаться. Во время войны 1654—1667 годов московские войска дважды брали Новогрудок. В 1655 году его заняли казаки Ивана Золотаренко. А в 1660 году частично восстановленный замок был занят войсками князя Ивана Хованского. Башни замка Мещанская, Колодезная, Малая надвратная и Посадская, а также прясла стен были разрушены до фундаментов. Во время Северной войны были окончательно уничтожены местные укрепления: в 1706 году шведы, проходившие через город, взорвали их остатки.