I de neste årene jobbet Smith som assistent, først Coventry City FC i 2002, deretter i samarbeid med Harry Redknapp i Portsmouth og Southampton FC. I 2004/05 rykket Southampton ned fra Premier League, og klubben tilbød ikke Smith ny kontrakt som assistent til Redknapp.