Milner ble olympisk mester i skyting under OL 1908 i London. Han vant 1000 yards frigevær, han var da 61 år og fire dager og er en av de eldste som har vunnet en olympisk gullmedalje. Det var 49 deltakere fra åtte nasjoner og konkurransen ble avviklet 11. juli 1908.