Young ble olympisk mester i vektklassen weltervekt i boksing under OL 1904 i St. Louis. Han beseiret Harry Spanger i finalen. Det var fire deltakere i klassen, alle fra USA.