Varley vant en olympisk sølvmedalje i skyting under Sommer-OL 1908 i London. Han var med på det britisk laget som kom på andreplass i lagskyting armégevær med 2497 poeng, bak USA med som fikk 2531. De andre på laget var Harcourt Ommundsen, Arthur Fulton, Philip Richardson, William Padgett og John Martin. Det var åtte lag som deltok og det var seks mann på hvert lag, konkurransen ble avviklet 10. og 11. juli 1908. Hver deltaker skjøt 15 skudd på hver av distansene 200-, 500-, 600- , 800 og 1000 yards. Varley skjøt totalt 423 poeng som var det nest beste resultatet på det britiske laget.