Svenskfødte Gough begynte sin fotballkarriere hos Charlton Athletic FC i 1978, hvor hans skotske far Charlie Gough hadde spilt på midten av 1960-tallet. Året etter flyttet familien til Sør-Afrika, hvor han spilte for Wits University FC. Samme år søkte han seg tilbake til Storbritannia, hvor han prøvespilte for den skotske storklubben Rangers FC, før han deretter fikk spille kamper for University College Dublin AFC. I 1980 ble han signert av Dundee United FC, hvor han spilte over 160 seriekamper og scoret 23 mål over seks sesonger, og hjalp klubben med å vinne seriemesterskapet i 1982/1983-sesongen.