På slutten av sesongen 2003/04 kom han tilbake til fotballen som assisterende manager for Alex Ferguson som i 1986, men denne gangen var det Manchester United. I desember 2004 fikk han jobben som skotsk landslagssjef. Han klarte ikke å føre Skottland til fotball-VM 2006, hvor de i kvalifiseringa var i samme gruppe som Norge. Kvalifiseringa begynte veldig bra for skottenes del, men 10. januar 2007 tok han over Rangers, og Alex McLeish tok over landslaget. Smith ledet Rangers frem til 15. mai 2011.