Spencer ble olympisk mester i bueskyting under OL 1904 i St. Louis. Han deltok på det amerikanske laget som vant lagkonkurransen for menn. De tre andre på laget var Robert Williams, William Thompson og Louis Maxson. Hans beste plassering individuelt var en trettendeplass i Double American round. Det var forøvrig kun deltakere fra USA i konkurransene i bueskyting under OL 1904.