Gerhardsen ble valgt inn i bystyret i Oslo i 1988, der han var kommunalråd (heltidspolitiker). Ved kommunevalget i 1991 var han Arbeiderpartiets førstekandidat, og Arbeiderpartiet og Sosialistisk Venstreparti (SV) med støtte fra Rød Valgallianse og Senterpartiet vant flertall. Han tiltrådte ved årsskiftet 1991/1992 som byrådsleder, Arbeiderpartiets første i Oslo (og frem til 2015 eneste).