I 1981 dro han videre til Heart of Midlothian FC, hvor han umiddelbart fikk sin debut i en ligacupkamp mot Airdrie. Smith etablerte seg raskt på førstelaget og ble en selvskreven spiller på startoppstillingen i årene som fulgte, som kulminerte i totalt 476 seriekamper da han forlot Hearts i 1996. Han forlot klubben til fordel for Ayr United FC, hvor han kun fikk 13 seriekamper frem til 2000. Etter dette dro videre til Clydebank FC, hvor han noterte seg for 26 seriekamper, før han avsluttet spillerkarrieren hos Berwick Rangers FC i perioden 2002 til 2004. I sistnevnte klubb ble han den eldste spilleren i Scottish Football League noensinne, i en alder av 46 år.