Gamlebyens kjerneområde (dvs. den sørlige og den sentrale delen av Gamlebyen) har flere ruiner i stein og tegl liggende framme i dagen, og store mengder fredede kulturlag under bakken. Kjerneområdet har også noe fredet 1700-talls bebyggelse. Innover mot Ekebergskrenten og videre oppover ligger en del 1700- og 1800-talls trehusbebyggelse som er regulert til Spesialområde bevaring etter plan- og bygningsloven. Gamlebyen har mange fireetasjes leiegårder i mur fra 1890-tallet og noen verneverdige jernbanebygg fra ulike epoker.