Det ble gjort flere forsøk på å flytte byen nærmere Akershus festning, men bybeboerne bygget opp byen på branntomtene. Etter bybrannen i 1624 (forskning viser at dette kan ha vært den 14. bybrannen) brukte Christian IV makt og tvang byens befolkning til å gjenoppbygge byen etter moderne byplan rundt festningen. De gamle bytomtene ble overdekket med jord og omgjort til ladegård for å sikre forsyninger til garnisonen på festningen.