Handley ble olympisk mester i svømming under OL 1904 i St. Louis, han var med på det amerikanske laget som vant 4 x 50 yards fri. Han spilte også på det amerikanske vannpololaget som vant vannpoloturneringen.