Vollene rundt byen ble oppgitt etter en brann i 1686, og byen fikk vokse nokså planløst utover forbi de gamle vollene. Etter brannen ble også Hellig Trefoldigheds kirke revet etter ønske fra de militære, som heller ville utvide festningen på byens bekostning. Den nye Vår Frelsers kirke ble oppført utenfor vollene og sto ferdig i 1699. Siste militære angrep mot byen kom i 1716, da Karl XII besatte selve byen, men ikke lyktes i å innta Akershus festning. Bebyggelsen fikk betydelig skade av festningens kanonild mot de svenske okkupantene. Først i 1784 ble byen formelt utvidet ved at de nærmeste forstedene utenfor vollene ble innlemmet.