Baker ble olympisk mester i friidrett under Sommer-OL 1956 i Melbourne. Han var med på det amerikanske stafettlaget som vant 4 x 100 meter stafett foran Sovjetunionen og Tyskland med tiden 39,5 som var ny verdensrekord. De andre på laget var Ira Murchison, Leamon King og Bobby Joe Morrow. Baker vant også to medaljer individuelt, han kom på andreplass på 100 meter bak sin landsmann Bobby Joe Morrow og på 200 meter ble han nummer tre.