Townsend begynte sin spillerkarriere i amatørklubben Welling United i august 1980. Etter å ha spilt over 100 kamper for klubben dro han videre til Weymouth FC i mars 1984, som da la i de lavere divisjonene i engelsk seriefotball. Der spilte han kun en sesong før han i januar 1985 dro til Southampton FC under ledelse av manager Lawrie McMenemy. Townsend debuterte profesjonelt hjemme mot Aston Villa i midten av april samme år og var med å kvalifisere klubben til europeisk deltagelse, som siden ble omgjort grunnet Heysel-tragedien i mai.