Varley ble olympisk mester i roing i OL 1904 i St. Louis. Han vant dobbeltsculler sammen med John Mulcahy. I toer uten styrmann kom de på andreplass. Paret representerte .