Fleck begynte sin fotballkarriere hos den lokale storklubben Rangers FC i 1983 og spilte over 80 seriekamper over fire sesonger, men ble funnet for lett av den nye manageren Graeme Souness, som signerte flere engelske spillere og som ønsket å ta opp tittelkampen med byrival Celtic FC. Fleck ble i desember 1987 derfor solgt til Norwich City FC med en overgangssum på £580 000. Her etablerte han seg på førstelaget i 1. divisjon (øverste nivå) og scoret 66 mål på 180 seriekamper. Han ble også klubbens toppscorer fire sesonger på rad, noe som gjorde at han ble tatt ut til det skotske landslaget.