Han ble assisterende manager i Dundee United og senere sjef for det skotske juniorlandslaget. Etter dette ble han assistent til Alex Ferguson på s landslag under fotball-VM 1986. Han ble senere assistenten til Graeme Souness i Rangers, og da Souness forlot klubben i 1991, fikk Smith hovedansvaret. Han fikk stor suksess i Rangers, med syv strake ligatitler og tre seire i den skotske cupen og den skotske ligacupen. Etter det gode arbeidet i Rangers, gikk turen til England og Everton FC. Han var manager i Everton mellom 1998 og 2002, men lyktes ikke, og David Moyes overtok etter Smith.