Festningen ble gjenoppbygd i stein i 1352 av erkebiskop Vasilij Kalika av Novgorod (1330–1352), som ifølge Novgorods første krønike ble sendt av novgorodene etter at flere russiske og litauiske fyrster ignorerte byens bønn om hjelp til å gjenoppbygge og forsvare fortet. Restene av murene fra 1352 ble utgravd i 1969 og kan ses like nord for Johanneskirken midt i den nåværende festningen.