Smith tilbrakte mye av sin oppvekst i Angus og viste et stort fotballtalent da han spilte for Montrose Roselea og Dundee North End. Smith returnerte til Edinburgh for å prøve lykken som profesjonell fotballspiller. Det ble imidlertid ikke med hans favorittlag som gutt, Heart of Midlothian, men med byrivalene Hibernian. Den glade unggutten etablerte seg straks som forbilde for en hel generasjon av fotballsupportere i etterkrigstiden. Smith skulle egentlig ha signert for Hearts, men 16-åringen ble i stedet signert av Hibs og spilte mot deres Edinburgh-rivaler i debuten, der han gjorde tre av målene i en 5-3-seier den 28. april 1941.