Walkers größter Erfolg war der Olympiasieg 1976 in Montréal in 3:39,17 min vor dem Belgier Ivo van Damme in 3:39,27 min und Paul-Heinz Wellmann aus der Bundesrepublik Deutschland in 3:39,33 min. Acht Jahre später bei den Olympischen Spielen 1984 in Los Angeles wurde Walker in 13:24,56 min Achter im 5000-Meter-Lauf. Auch wenn er die Strecken von 800 bis 5000 Meter beherrschte, so waren die 1500 Meter bzw. 1 Meile seine Lieblingsstrecken.