Sammen med Bobby Johnstone, Lawrie Reilly, Eddie Turnbull og Willie Ormond ble Smith en del av Famous Five, den mest feirede angrepslinjen i Hibernians historie. Sent på 1940-tallet og på 1950-tallet sørget Smith og resten av The Famous Five for at Hibs ble et av de mest suksessfulle lagene i Skottland, både sportslig og med tanke på publikumsoppslutning. Det skotske ligamesterskapet ble vunnet tre ganger (1948, 1951 og 1952), mens i 1952-1953-sesongen ble Hibs slått på målstreken av Rangers, på grunn av et resultatsystem som regnet ut målgjennomsnittet. Smith var imidlertid mindre suksessfull i den skotske cupen, der han spilte bare én finale i den skotsk FA-cupen med Hibs, som de tapte 2–1 for Aberdeen i 1947.