James Barry Munnik Hertzog is op Soetendal, distrik Wellington, gebore. Sy hoërskoolopleiding ontvang hy op Stellenbosch waar hy in 1889 die graad BA behaal. Hy kies die regte as studierigting en studeer verder aan die Universiteit van Amsterdam waar hy in 1892 sy doktorsgraad verwerf.
Terug in Suid-Afrika vestig hy hom in Pretoria as advokaat, maar toe hy in 1895 regter word, verhuis hy na Bloemfontein waar hy baie jare lank woon. Die Tweede Vryheidsoorlog het 'n ingrypende verandering in sy lewe veroorsaak want hy verlaat die regsbank om krygsman te word, aanvanklik as regsadviseur in die veld maar later as krygsman, en teen die einde van die oorlog was hy tweede in bevel in die hele Vrystaat.
Hy was 'n groot voorstander van die bewegingstrategie van klemkrygtaktiek, wat so doeltreffend toegepas is dat die oorlog ná die oorgawe van Bloemfontein en Pretoria nog twee jaar geduur het.
As een van die verteenwoordigers by die vredesonderhandelinge, stel hy 'n standpunt wat in sy latere loopbaan die grondslag van sy strewe sou vorm.
Hy het as voorsitter opgetree by die stigtingsvergadering van die Afrikaanse Taalgenootskap wat in 1906 in Bloemfontein gehou is, en hy was die persoon wat sy taal en kultuurgenote gelei, aangespoor en gehelp het om die Suid-Afrikaanse Akademie vir Taal, Lettere en Kuns in 1909 tot stand te bring. Die Suid-Afrikaanse Akademie is voorwaar 'n blywende monument vir hierdie groot Afrikaner. Dit alles het sy grootste prestasie ten grondslag gelê om langs staatkundige weg deur die Vrystaatse Onderwyswet van 1908 moedertaal onderwys vir die Afrikanerkind te verseker, 'n kultuurdaad waarsonder die Afrikaanse taal en kultuur ongetwyfeld langsaam maar seker aan bloedarmoede sou gester het. En voeg hierby sy onverbiddelik stryd om die gelykberegtiging van Hollands, en later Afrikaans, naas die ekonomies- en kultuurkragtiger Engels af te dwing deur Artikel 137 in die Grondwet van die Unie van Suid-Afrika in 1910 ingeskryf te kry; van volkstaal tot staatstaal.
'n Ander belangrike lewenstaak waaraan genl Hertzog hom met oorgawe gewy het, was 'n doeltreffende oplossing vir die naturellevraagstuk. Sy siening kan inderdaad beskou word as die begin van die segregasiebeleid. Sy aanvoorwerk het gelei tot die aanvaarding van die Naturellegrondwet van 1913, waarvolgens die land in blanke en nie-blanke gebiede verdeel word met 'n verbod op koop van grond in nie-blanke gebied deur 'n blanke, en andersom. Ook in later jare het genl Hertzog hom onvermoeid aan hierdie lewenstaakgewy en veral twee oogmerke vooropgestel, naamlik die verwydering van Kaaplandse swartmense van die gemeenskaplike kieserslys en die aankoop van meer grond vir die swartmense, sodat die beleid van gebiedskeiding deurgevoer kon word. Politieke omwentelinge tussen die jare 1911 en 1914 het 'n groot rol in die Afrikaner se wordingsgeskiedenis gespeel, en genl Hertzog het daarin 'n leeu-aandeel gehad.
Ondanks pogings van die kant van die NP om hom tot die politiek te laat terukeer, tree hy af en vestig hom op sy plaas Waterval naby Witbank.