Festningen ble opprettet i 1492 under styret til Ivan III av Moskva og ble oppkalt etter han. Mellom 1581–1590 og 1612–1704 var festningen kontrollert av Sverige. Tross andre endringer i territorium og suverenitet, så ble Ivangorod administrativt sett på som en del av byen Narva fra 1612 til 1945.