В июне 1654 года, вскоре после начала русско-польской войны 1654—1667 гг., русские войска опять взяли Себеж. На этот раз его переход к России был закреплён Андрусовским перемирием (подписано года), по которому Речь Посполитая теряла ряд приграничных районов и Левобережную Украину, а также — на два года — Киев. Однако года в Москве было заключено новое перемирие, по которому Андрусовское перемирие продлевалось на 13 лет, а Себеж, Невель и Велиж с уездами передавались Речи Посполитой в обмен на закрепление за Россией Киева.