Нещастието бързо застига града и през 1558 по време на Ливонската война армията на Иван Грозни изгаря града до основи. През 1567 шведите отново разрушават града, а през 1575 руснаците за втори път го опожаряват. След поредната шведска окупация през 1602 градът е за четвърти път сринат с основите, но този път защитните стени са окончателно унищожени.