Ve stejný rok, kdy odešel z armády, byl zvolen starostou Haify za Stranu práce. Do úřadu byl opětovně zvolen v roce 1998 a zastával jej až do roku 2003. Dne 19. listopadu 2002 vyhrál ve vnitrostranických volbách Strany práce s 54 % hlasů. Během volební kampaně před volbami v roce 2003 navrhoval, aby Izrael pokračoval v dalších jednáních s palestinskou správou, ale zároveň pokud by jednání nikam nevedla, aby se stáhl z Pásma Gazy a většiny Západního břehu a jednostranně vytyčil konečné hranice. Jeho plán byl kritizován tehdejším předsedou Likudu Arielem Šaronem, který však nakonec sám představil a provedl jednostranné stažení Izraele z Pásma Gazy.