Kingsbury ble olympisk mester i sykling to ganger under OL 1908 i London. Han vant banesyklingen, 20 kilometer foran sin landsmann Benjamin Jones og han var også med på det britiske laget som vant 4000 meter lagkonkurranse foran Tyskland og Canada. De andre på laget var Leon Meredith, Benjamin Jones og Ernest Payne.