Astor ble olympisk mester i rackets under OL i London i 1908. Han vant doubleturneringen i rackets sammen med landsmannen Vane Pennell. I singleturneringen kom han på tredjeplass.