В 1655 году, во время русско-польской войны 1654—1667, Велиж подвергся разрушению русскими войсками. В 1667 году по Андрусовскому договору Велиж отошёл к России, но в 1678 году был возвращён Речи Посполитой вместе с некоторыми другими землями в обмен на город Киев. К концу XVII века Велиж утратил своё военно-стратегическое значение и развился как центр обширного староства в составе Витебского воеводства. К концу XVII века был застроен и правый берег Двины, куда подходила дорога из Усвята.