Jim Smith startet sin profesjonelle karriere i Sheffield United FC i 1959. Etter å ha vært i denne klubben i over to år uten særlig spilletid gikk han til Aldershot FC sommeren 1961. Han spilte fire sesonger for klubben fra Hampshire før han i 1965 ble en del av Halifax Town FCs spillergruppe. Han var i Halifax i nesten tre år, og spilte over 100 ligakamper for laget, før han i mars 1968 gikk til Lincoln City FC. I hans neste klubb, Boston United FC, ble han tilbudt en spiller-/manager-jobb, og den samme jobben hadde han i Colchester United FC fra oktober 1972. Selv om Smith ikke spilte mange kamper for Colchester hadde han spillerlisens ut 1972/73-sesongen.