Hertzog fikk sin jusgrad fra Victoria College i Stellenbosch i Kappkolonien og Universitetet i Amsterdam. Han hadde en juridisk praksis i Pretoria fra 1892 til 1895 da han ble utnevnt til Oranjefristatens høyesterett.