Smith begynte sin fotballkarriere hos den engelske amatørklubben Frickley Athletic FC i 1976, og året etter dro han videre til Winterton Rangers FC, også det en engelsk amatørklubb. I 1978 skrev han under på en proffkontrakt med Leeds United FC, men her var han i sterk konkurranse om målvaktsplassen med landsmannen David Harvey, og han fikk derfor ikke spille noen seriekamper på de tre årene han befant seg i klubben.