Entrato nell'esercito nel 1890, Congreve il 15 dicembre 1899 prese parte alla Battaglia di Colenso, in Sudafrica col grado di Capitano assieme ad altri commilitoni, coi quali cercò di salvare i cannoni della 14th e della 66th Batteries della Royal Field Artillery, col rischio di venire uccisi. Molti dei cavalli necessari al traino dei pezzi d'artiglieria si trovavano a parecchia distanza e raggiungerli sarebbe stato quasi impossibile sotto il fuoco nemico. Il capitano Congrebe, assieme a due altri ufficiali (Frederick Hugh Sherston Roberts e Harry Norton Schofield), ed al caporale George Edward Nurse riuscirono a recuperare due cannoni. Tutti e quattro gli eroi ricevettero la Victoria Cross per quest'azione. Successivamente, seppur ferito, vedendo uno dei suoi ufficiali ferito, riuscì a recuperarlo col maggiore William Babtie.