Im Alter von 37 Jahren, während er als Hauptmann in der "Rifle Brigade" im Zweiten Burenkrieg diente, wurde ihm das Victoria-Kreuz verliehen. Am 15. Dezember 1899 versuchte Congreve zusammen mit einigen anderen Soldaten während der Schlacht von Colenso, die Kanonen der 14. und 66. Batterie der "Royal Field Artillery" zu retten. Die Besatzungen der Geschütze waren entweder tot oder verwundet oder von ihren Kanonen vertrieben worden. Einige Soldaten und Pferde hatten Zuflucht in einer Schlucht ca. 500 Meter hinter den Kanonen gefunden. Der Zwischenraum zwischen ihnen und den Kanonen wurde mit Geschütz- und Gewehrfeuer belegt. Congreve konnte zusammen mit zwei anderen Offizieren, Leutnant Frederick Hugh Sherston Roberts und Harry Norton Schofield sowie Corporal Edward George Nurse zwei der Geschütze bergen. Alle vier Soldaten wurden für diese Einzeltat mit dem Victoria-Kreuz ausgezeichnet. Roberts fiel bei dieser Aktion. Er war der Sohn von Frederick Roberts, 1. Earl Roberts, des Oberkommandierenden der britischen Truppen in Südafrika. Als Congreve Roberts fallen sah, barg er, obwohl inzwischen selbst verwundet, zusammen mit Major William Babtie den verwundeten Offizier. Babtie wurde ebenfalls mit dem Victoria-Kreuz ausgezeichnet. Congreves Victoria-Kreuz ist im Royal Green Jackets Museum in Winchester ausgestellt.