Nevin begynte sin fotballkarriere ved å trene med Celtic FC, men ble ikke tilbudt kontrakt på grunn av hans størrelse. Han ble deretter signert av Clyde FC i 1981, og i hans første sesong var han med på å spille klubben til opprykk fra Scottish Football League First Division med sine tolv mål. Sommeren 1983 ble Nevin signert av den engelske klubben Chelsea FC på en overgangssum verdt 85 000 pund. Han kom til klubben i en periode da manager John Neal hentet inn flere spillere i et forsøk på å skape et storlag, med blant andre Kerry Dixon, Nigel Spackman, David Speedie og Eddie Niedzwiecki.