Kempster vant to olympiske bronsemedaljer i skyting under Sommer-OL 1912 i Stockholm. Han var med på de britiske lagene som kom på tredjeplass i lagskytingen på både 30 meter militærpistol og 50 meter pistol.