Han begynte karrieren i lokale klubber i nordøst-England, før han i 1902 prøvde lykken som spiller i Barnsley FC, som spilte i 2. divisjon. I april 1906 ble han oppdaget av noen speidere fra Manchester United. Han ble kjøpt av manager Ernest Mangnall for £175 i 1906. Barnsley synes det var en grei kompensasjon for å miste en god angriper. På denne tida spilte også Manchester United i 2. divisjon, og Wall hadde skapt problemer for klubben før. Men nå var vingen klar for United.