Moskovalaisaikana linnaa vahvistettiin, ja useimmat säilyneet rakenteet ovat peräisin tältä ajalta. Ruotsalaiset valtasivat linnan pitkänvihan aikaan vuonna 1581, mutta se luovutettiin Venäjälle Täyssinän rauhassa. 1600-luvun alussa ruotsalaiset valtasivat linnan uudestaan. Venäjä sai sen takaisin vuonna 1703.