Byen ble brent og totalskadd av svenskene i 1567. Innbyggerne valgte da å flytte nærmere havet langs Glomma, og dannet der en ny by som i 1569 fikk navnet Fredriksstad. En del av befolkningen ble værende i Sarpsborg, og bydelen Gleng stammer fra denne tiden. I 1702 ble byen rammet av et kvikkleireskred som tok med seg nesten hele middelalderbyen ut i Glomma. Raset gravde seg nesten gjennom til elven ovenfor Sarpsfossen og tok med seg eventuelle spor etter tidligere bosetning og nesten hele jordborgen. I rasgropa ligger idag industribedriften Borregaard og på toppen av raskanten ligger ruinene av St. Nicolas-kirken og deler vollen rundt byen, side ved side med rester fra Andre verdenskrig.