Coe vant en olympisk sølvmedalje i friidrett under OL 1904 i St. Louis. Han kom på andreplass i kulestøt med resultatet 14,40 som var 41 centimeter kortere enn landsmannen Ralph Rose som satte ny verdensrekord med 14,81.