Empirekvartalet, der høyblokken i Regjeringskvartalet ligger og Y-blokken lå) ble utbygget med Militærhospitalet 1807 og Rikshospitalet 1826. I 1860-årene hadde denne nedre del av bydelen blitt en del av det sentrale Christiania med blant annet Sankt Olav katolske domkirke (nygotikk, 1856) og Trefoldighetskirken (nygotikk, 1858). Disse områdene ble innlemmet i byen ved byutvidelsen i 1839, mens resten av bydelen ble innlemmet i 1859, med unntak av Adamstuen, halve Lindern og Marienlyst som først ble en del av byen da Oslo og Aker ble slått sammen i 1948.