1920 startete James Walker bei den Olympischen Spielen in Antwerpen in fünf verschiedenen Disziplinen auf Straße und Bahn. Gemeinsam mit Henry Kaltenbrunn errang er Silber im Tandemrennen. In der Mannschaftsverfolgung gewann er mit Kaltenbrunn, Bill Smith und Sammy Goosen Bronze. Im olympischen Einzelzeitfahren schied er beim Sieg von Harry Stenquist aus.