Ashworth ble olympisk mester i friidrett under Sommer-OL 1964 i Tokyo. Han var med på det amerikanske stafettlaget som vant 4 x 100 meter stafett, med tiden 39,06 som var ny verdensrekord, foran Polen og Frankrike. Ashworth løp andre etappe, de andre på laget var Paul Drayton, Richard Stebbins og Bob Hayes.