McCoist startet karrieren i St. Johnstone FC, og var senere innom engelske Sunderland AFC i to sesonger, før han i 1983 ble kjøpt av Rangers, hvor han tilbragte de neste 15 sesongene. I løpet av sin tid på Ibrox, ble McCoist ligamester ti ganger. Han ble toppscorer i den skotske ligaen ved tre anledninger, og ble i 1992 kåret til årets spiller i Skottland.