Spencer ble olympisk mester i friidrett i OL 1928 i Amsterdam. Han var med på stafettlaget som vant 4 x 400 meter, med tiden 3.14,2 som var ny verdensrekord, foran Tyskland og Canada. De andre laget var George Baird, Frederick Alderman og Raymond Barbuti.