Veksten på 1950- og 60-tallet medførte at mye gammel bebyggelse måtte vike for nye bolig- og næringsbygg og veier. Gradvis vokste imidlertid vernetanken fram i løpet av 1960- og 70-åra. Et vegprosjekt som forutsatte riving av mye av trehusbebyggelsen på Bakklandet ble stansa, og det samme gjaldt riving av Ilsvikøra. Vernetanken fikk sitt endelige gjennomslag med «Midtbyplanen» av 1981.