V roce 2001 se konala předčasná přímá volba premiéra, kterou svou rezignací vyvolal Ehud Barak, jenž si chtěl posílit své postavení (poprvé se paralelně nekonaly parlamentní volby). V souboji s předsedou Likudu Arielem Šaronem však prohrál a následně rezignoval. Předsedou se stal Benjamin Ben Eliezer, který Stranu práce přivedl do vlády národní jednoty pod Šaronovým vedením. Sám byl jmenován ministrem obrany, zatímco Peres se stal opět ministrem zahraničních věcí. Peres byl s Ben Eliezerem kritizován levicí za to, že je navzdory svým holubičím postojům členem vlády, která očividně nehodlá pokročit v mírovém procesu. Svůj post opustil, když Strana práce před volbami v roce 2003 opustila koalici. Do voleb šla strana pod vedením Amrama Micny a utrpěla těžkou porážku. Peres byl následně zvolen staronovým předsedou. Když Ariel Šaron ke konci roku 2004 představil svůj plán na jednostranné stažení se z Gazy a tím tak představil program, který by Strana práce mohla podpořit, Peres znovu vytvořil s Likudem koalici.