Nöteborgstraktaten av 1323 slo fast at festningen tilhørte Novgorod. Fram til 1500-tallet hørte festningen til Republikken Novgorod, deretter Storfyrstedømmet Moskva. Novgoroderne bygget dagens steinbastioner og tårn i 1364 etter at en brann hadde ødelagt den tidligere trefestningen.