Da den nye byen var anlagt, ble området der Oslo hadde ligget lagt ut som ladegård for Akershus festning, med tilleggsjord fra gårdene , , , og deler av Oslos bymark eller «takmark». Gården skulle skaffe forsyninger til festningen. Det var lenge et jordbruksområde, men med noen få murbygninger som helt eller delvis hadde overlevd brannen – Oslo ladegård, på ruinene av den gamle bispeborgen, Oslo bispegård på ruinene av Olavsklosteret, og Oslo Hospital. Saxegården besto som privat eiendom og ble gjenreist som trehus på en hvelvkjeller fra middelalderen. Først langt inn på 1800-tallet begynte det å komme bebyggelse i større skala i området hvor byen hadde ligget.