Født i Bury Lancashire, så spilte Shaw først for sin lokale klubb Bury FC, og så for Accrington Stanley der han var med på å vinne "Lancashire Combination". Shaw flyttet så sørover til London, og kom til Woolwich Arsenal i 1907. Joseph E. Shaw debuterte som fotballspiller mot Preston North End, 28. september 1907, og ble raskt fast del av Arsenal. Han var førstevalget som venstre back i de neste syv sesongene. På tross av at klubben tidlig hadde vist gode takter etter opprykket til første divisjon i 1904, med semifinaleplass to ganger i sesongene før Shaw kom til klubben, ble plasseringene raskt dårligere. Etter en topp med sjetteplass i 1908-09, startet problemene for Woolwich Arsenal, og laget rykket ned i 1912-13. Shaw ble værende i klubben da de flyttet nordover i London til Highbury, og han var med til den siste sesongen (1914–15) før ligaen ble suspendert p.g.a. den første verdenskrig. Han fortsatte med å spille uoffisielle kamper i krigsårene, og da ligaen ble gjenopptatt endret han posisjon til høyre back. I 1919 ble han kaptein på laget, og etterfulgte Percy Sands. På dette tidspunktet var Arsenal tilbake i første divisjon, og Shaw fortsatte å spille til 1922, da var han 38 år. Han spilte sin 300. kamp for Arsenal mot Newcastle United, 23. april 1921, og var den tredje spilleren som gjorde det i klubbens historie (etter Sands og Roddy McEachrane). Totalt spilte han 326 kamper for laget men skårte ikke et eneste mål. Etter at han gav seg som aktiv, ble han først trener for så å ta over som manager for Arsenals reservelag. Etter det uventede dødsfallet til Herbert Chapman i januar 1934, tok Shaw over som midlertidig manager for førstelaget for resten av sesongen. Shaw fortsatte Chapmans gode gjerning og sikret Arsenal ligatittelen i 1933-34, klubbens tredje. Etter at George Allison ble utnevnt til permanent manager den sommeren, gikk Shaw tilbake til stillingen som manager for reservelaget. Shaw ble i Arsenal resten av 1930-tallet og gjennom den andre verdenskrig. Etter at krigen sluttet, var Shaw i en kort periode trener i Chelsea, men returnerte til Arsenal for å bli assistentmanager til Tom Whittaker. Han tjenestegjorde senere som klubbens ambassadør, og pensjonerte seg fra fotballen i 1956, etter 49 år i klubben. Han døde i 1963, 80 år gammel.