Gilmore kom på tredjeplass i boksing, fjærvekt, under OL 1904 i St. Louis. Han tapte sin kamp til sin landsmann Frank Haller som siden tapte finalen til Oliver Kirk. Det var kun tre boksere, alle fra USA i denne vektklassen.