I 2003 ble han manager i West Ham. Han gjorde det bra i West Ham og førte dem blant annet til finale i FA-cupen i 2006. De tapte for Liverpool på straffesparkkonkurranse. West Ham ledet to ganger, men Liverpool kom tilbake helt på slutten og utlignet ved et fantastisk langskudd av Steven Gerrard. Men det hadde allikevel vært en meget bra sesong for West Ham. I 2006 hentet han Carlos Tevez og Javier Mascherano, noe som i ettertid er regnet som en genistrek.