Billington vant en olympisk sølvmedalje i sykling under OL 1904 i St. Louis. Han kom på andreplass ½ mile bak sin landsmann Marcus Hurley. Han vant også tre bronsemedaljer på distansene ¼-, ⅓- og 1 mile.