Hoyt ble den første olympiske mester i stavsprang da han 1896 i Athen vant stavkonkurransen med et hopp på 3,30. Han deltok også på 110 meter hekk, han kom på andreplass i sitt heat etter Thomas Curtis men Hoyt løp ikke i finalen.