Rayner vant en olympisk bronsemedalje i fekting under Sommer-OL 1920 i Antwerpen. Han var med på det amerikanske laget som kom på tredjeplass i lagkonkurransen i florett bak Italia.