Během livonské války bylo město dobyto roku 1558 ruským carem Ivanem IV. Hrozným. Rusové se zde však udrželi jen do roku 1581, kdy město znovu dobyli Švédové pod vedením generála Pontuse De le Gardie. Pod švédskou nadvládou byla výrazně rozšířena místní pevnost. Na začátku 17. století zde vyrostly bašty v italském a německém stylu, ale konečnou podobu vtiskl pevnosti až v 80. letech téhož století slavný švédský stavitel pevností Erik Dahlberg, který zde vybudoval mohutné opevnění francouzského typu.