Hertzog erhielt seine juristische Befähigung am Victoria College in Stellenbosch, Kapkolonie, und an der Universität von Amsterdam. Er hatte ab 1892 eine Anwaltskanzlei in Pretoria, bis er 1895 zum Hohen Gericht des Oranje-Freistaates berufen wurde. Während des Burenkrieges (1899–1902) stieg er bis zum General auf und wurde stellvertretender Kommandant der militärischen Kräfte des Oranje-Freistaats. Trotz einiger militärischer Schwierigkeiten wurde er als wagemutig und erfinderischer Leiter der Guerillakrieger bekannt, die die Briten bekämpften. Schließlich wurde er von der Sinnlosigkeit weiteren Blutvergießens überzeugt und unterzeichnete im Mai 1902 den Frieden von Vereeniging.