Downing ble olympisk mester to ganger i sykling under OL 1904 i St. Louis. Han vant distansene, 2- og 25 mile. På distansene ¼ – ⅓- og 1 engelsk mile kom han på andreplass bak landsmannen Marcus Hurley og på ½ mile kom han på tredje bak to landsmenn. Det var forøvrig bare amerikanske syklister som deltok i alle sykkelkonkurransene i under OL i 1904.