Drayton ble olympisk mester i friidrett under Sommer-OL 1964 i Tokyo. Han var med på det amerikanske stafettlaget som vant 4 x 100 meter stafett, med tiden 39,06 som var ny verdensrekord, foran Polen og Frankrike. Drayton løp første etappe, de andre på laget var Gerald Ashworth, Richard Stebbins og Bob Hayes. På 200 meter kom han på andreplass bak sin landsmann Henry Carr.