Smith startet sin fotballkarrière hos amatørklubben Alvechurch FC i nordre del av Worcestershire i 1981. Året etter signerte han under på en profesjonell kontrakt med Leicester City FC, og allerede i sin første sesong etablerte han seg på førstelaget, hvor han dannet et målfarlig partnerskap sammen med Gary Lineker og scoret selv 13 mål. Smith var dermed sterkt delaktig i at klubben rykket opp til førstedivisjon i hans første sesong, og at klubben holdt seg der i alle hans fem sesonger i klubben med til sammen 76 scoringer på 200 seriekamper.