Cassell ble olympisk mester i friidrett under Sommer-OL 1964 i Tokyo. Han var med på det amerikanske stafettlaget som vant 4 x 400 meter stafett, med tiden 3.00,7 som var ny verdensrekord, foran Storbritannia og Trinidad og Tobago. Cassell løp første etappe, de andre på laget var Michael Larrabee, Ulis Williams og Henry Carr.