I 1958 kom Ferguson til den skotske klubben Queen's Park som amatør, mens han var lærling som verktøysmed. Han var bare 16 år da han debuterte, som angriper. Han beskriver sin første kamp som et «mareritt», men scoret Queen's Parks mål i 1–2-tapet for Stranraer. Den mest kjente kampen han spilte i for denne klubben, var da de tapte 1–7 for Queen of the South, da Ivor Broadis scoret fire mål, mens Ferguson scoret sin klubbs eneste mål. Selv om han scoret 15 mål på 31 kamper, fikk han aldri fast plass på laget. Derfor gikk han til St. Johnstone som halvprofesjonell i 1960. Selv om han fortsatte å score regelmessig, slet han med å få fast plass også her, og ba derfor om å komme på transferlisten. Selv om han ikke møte noen godvilje i klubben, og fordi manageren ikke lyktes å kjøpe en toppspiss, fikk han sjansen i en kamp mot Rangers. Der scoret han hat-trick i en overraskende seier. I 1964 sluttet han som verktøysmed og ble solgt til Dunfermline. Den følgende sesongen (1964–65) var klubben en sterk utfordrer til å vinne den skotske ligaen, og kom til FA-cupfinalen. Ferguson ble droppet til finalekampen etter en dårlig ligakamp mot St. Johnstone. Dunfermline tapte finalen 2–3 for Celtic, og misset på ligamesterskapet med ett poeng. Han scoret hele 45 mål på totalt 51 liga- og cupkamper denne sesongen, og ble delt toppscorer i ligaen. Både Ferguson og Joe McBride (Celtic) scoret 31 ligamål. I 1967 ble Ferguson kjøpt til Rangers for 65 000 pund, noe som var overgangsrekord mellom to skotske klubber. Selv om Ferguson hadde en rimelig bra spillerkarriere, er han mest kjent som syndebukk i den skotske FA-cupfinalen i 1969, da Rangers tapte 0–4 for naborival Celtic. Han ble holdt ansvarlig for det ene baklengsmålet, da han glapp en markering ved en corner (selv om han spilte i angrep). Han ble derfor tvunget til å spille for klubbens juniorlag i stedet for A-laget. Ifølge hans egen bror ble Alex Ferguson så sint for dette, at han kastet tapermedaljen. Det ble fra flere hold påstått at han ble oversett fordi han var gift en katolikk, men Ferguson hevder i sin selvbiografi at Rangers visste dette da de kjøpte ham, og at han ble utelatt på grunnlag av prestasjoner. I oktober 1969 ville Nottingham Forest kjøpe Ferguson, men på den tiden ville ikke kona flytte til England. I stedet gikk ferden til Falkirk for 20 000 pund. Han ble oppgradert til spillende trener der, men da John Prentice ble manager, fjernet han Fergusons treneransvar. Derfor ba han om en overgang til Ayr (1973), og var fra da av semiproff igjen, mens han drev en pub i Glasgow. Her avsluttet han sin spillerkarriere.