В 1579 году в ходе Ливонской войны Себежская крепость была взята 50-тысячным войском короля Стефана Батория. В 1582 году Себеж был возвращён России, затем отошёл Речи Посполитой в 1618 году, отвоёван Россией в Смоленскую войну, но по условиям мира вновь передан Речи Посполитой. Когда русские войска взяли Себеж в 1654 году воеводы доложили царю Алексею Михайловичу о состоянии его укреплений: «"окольного города 704 сажени, а в городе Кремль имеет в окружности 78 сажен, кремлёвский вал высотою 16 сажен, а вал окольного города 9 сажен, в окольном городе 4 ворот"». Таким образом, за период польского господства больших изменений в крепости не произошло, но количество ворот сократилось в два раза. В 1678 году по «Вечному миру» Себеж вновь был возвращён Речи Посполитой.