Williams ble olympisk mester i bueskyting under OL 1904 i St. Louis. Han deltok på det amerikanske laget som vant lagkonkurransen for menn. De tre andre på laget var William Thompson, Louis Maxson og Galen Spencer. Individuelt tok han to sølvmedaljer. Det var forøvrig kun deltakere fra USA i konkurransene i bueskyting under OL 1904.