Bathurst siguió a su padre en el 4º Batallón a tiempo parcial del Regimiento de Gloucestershire (Royal North Gloucestershire Militia), y fue ascendido a comandar el batallón con el rango de teniente coronel el 2 de marzo de 1898. Su hermano menor Allen "Benjamin" Bathurst también sirvió en el regimiento. El batallón de Gloucestershire fue encargado para realizar el servicio a tiempo completo desde el 11 de enero de 1900 hasta el 27 de julio de 1901 durante la Segunda guerra bóer, sirviendo en la isla de Santa Elena vigilando a los prisioneros bóeres. En reconocimiento a sus servicios, Bathurst fue nombrado Compañero de la Orden de San Miguel y San Jorge (CMG) en la lista de Honores de Sudáfrica publicada el 26 de junio de 1902.