Hertzog oli syntyjään Kapmaan hollantilainen ja sukujuuriltaan saksalainen. Hän opiskeli lakitiedettä Victoria Collegessa Stellenboschissa ja Amsterdamin yliopistossa Hollannissa. Valmistuttuaan vuonna 1892 hän toimi kolme vuotta lakimiehenä Pretoriassa Transvaalissa, minkä jälkeen hänet nimitettiin tuomariksi Oranjen vapaavaltion ylioikeuteen. Toisen buurisodan aikana hän liittyi Oranjen armeijaan ja kohosi vuonna 1900 sen apulaiskomentajaksi. Hän oli mukana pitkään jatkuneessa sissisodassa ja allekirjoitti vastentahtoisesti Vereenigingin rauhansopimuksen vuonna 1902. Hän lähti muutamaa vuotta myöhemmin politiikkaan perustamalla "Orangia-Unie" (Oranjen liitto) -nimisen puolueen.