Walker var ikke blant de store favorittene til å vinne 100 meter under Sommer-OL 1908. Han hadde til og med problemer med å finansiere turen til London, inntil en sportsjounalist samlet inn penger til støtte for Walkers OL-deltakelse. I England ble han trent av Sam Mussabini, som senere også trente Harold Abrahams.