Kemp ble olympisk mester i vannpolo under OL 1900 i Paris. Han spilte på det britiske laget med spillere fra som vant vannpoloturneringen foran Belgia. Han kom på tredjeplass i svømming, 200 meter hinder bak australske Frederick Lane og Otto Wahle fra Østerrike.