Sommeren 2001 begynte ryktene om at Sherwood var på vei vekk fra Tottenham. Både Wolverhampton, Aston Villa, Southampton FC, Everton FC, West Ham United og senere Rangers FC, ble nevnt. Senere på året dukket flere klubber opp. Portsmouth sikret seg Sherwood i januar 2003 etter at manager i Tottenham, Glenn Hoddle, hadde fortalt Sherwood at han ikke var i planene hans.