A comienzos de los años cincuenta, durante su estancia con la formación, casi de rhythm and blues, Don Gardner And His Sonotones, Smith empezó a tocar el órgano Hammond en 1951 y pronto alcanzó una gran reputación que le siguió hasta Nueva York, donde debutó en el Café Bohemia.