Stein begynte sin karriere med Armadale Thistle FC, og fortsatte med å spille for Hibernian FC, Rangers FC og gjennom 1960- og 1970-årene. Han hadde også en periode i England med Coventry City FC. Han var en viktig del av det Rangers-laget som vant UEFA cupvinnercupen i 1971-1972-sesongen, der han bl.a. scoret åpningsmålet i finalen. Rangers slo Stade Rennais FC, Sporting Clube de Portugal, Torino FC, FC Bayern München og FK Dinamo Moskva på sin vei til troféet.