Walsh begynte sin karriere hos Charlton der han debuterte 16 år gammel. Han ble raskt fast på laget, og ble som 19-åring kjøpt opp av Luton for 400 000 pund i juli 1982. Her gjorde han seg bemerket som en rask og teknisk god angrepsspiller.