J.B.M. Hertzog is tydens die Tweede Boereoorlog (1899–1902) van kommandant tot generaal in rang bevorder. As generaal het hy saam met 'n groep Boeresoldate met sukses die Kaapkolonie binne. Hy het die onderbevelvoerder van die leër van die Oranje-Vrystaat geword. Hy was gelief onder sy manskappe en 'n voorstander van guerrilla-aksies teen die Engelse. Hy was aanvanklik 'n voorstander van die voortgesette stryd tot die bitter einde, maar hy het later tot insig dat verdere bloedvergieting sinneloos was en op 31 Mei 1902 was hy één van die ondertekenaars van die Vrede van Vereeniging.
J.B.M. Hertzog was 'n vurige voorstander van die behoud van Nederlands as kultuurtaal vir die Afrikaner en het hy 'n leidende rol gespeel in die stigting van die Zuid-Afrikaanse Akademie voor Taal, Letteren en Kunst (Suid-Afrikaanse Akademie vir Wetenskap en Kuns) wat op 2 Julie 1909 opgerig is met as doel: De handhaving en bevordering van de Hollandse Taal en Letteren, en van de Zuid-Afrikaanse Geschiedenis, Oudheidkunde en Kunst.
J.B.M. Hertzog en M.T. Steyn het 'n leidende rol gespeel in die erkenning van Nederlands as amptelike taal van die Unie van Suid-Afrika, naas Engels op 31 Mei 1910. Reeds gedurende 1909 is onder leiding van Jan Smuts en John X. Merriman 'n konsepgrondwet opgestel, wat vir die beginsel van 2 amptelike tale voorsiening gemaak het, maar dit was vir Hertzog en M.T. Steyn nie genoeg nie. Hertzog het 'n wysiging van die konsepgrondwet opgestel (artikel 137), wat hy persoonlik onderteken het, wat as volg lui: De engelse alsmede de hollandse talen zijn officiële talen van de Unie. Zij worden op een voet van gelijkheid behandeld en bezitten en genieten gelijke vrijheid, rechten en voorrechten. Alle akten, verslagen en verrichtingen van 't Parlement worden in beide talen gehouden, en wetsontwerpen, wetten en kennisgevingen van algemeen publiek gewicht of belang door de Regering van de Unie uitgegeven, zijn en geschieden in beide talen. Artikel 137 is uiteindelik aanvaar in die Zuid Afrika-wet waardeur die vier koloniale gebiede omvorm sou word tot die Unie van Zuid-Afrika.
As minister van Onderwys van die Oranjerivierkolonie het hy hom vir tweetaligheid (Nederlands/Engels) in die onderwys beywer. Ook het hy vir gelykberegtiging tussen die 2 tale gestry, want na die Anglo-Boereoorlog was Engels die dominante onderwystaal in die Oranje Vrystaat. Met die totstandkoming van die Unie van Suid-Afrika het Hertzog gedien as minister van Justisie onder die eerste premier van die Unie, Louis Botha. Hertzog het baie moeite gehad om onder Botha te dien, want vir Hertzog was Botha te laaggskoold en te ongekultiveer om die pos van 'n eerste minister te beklee.
Smuts het aanvanklik ook die steun van die armblankes geniet, maar nadat Smuts in 1922 die leër opdrag gegee om 'n mynwerkerstaking van blanke arbeiders aan die Rand met geweld te onderdruk het hy die steun verloor. Hertzog het skerp stelling ingeneem teen die geweld en het opgetree as verdediger van die regte van die armblanke arbeiders. By die parlementsverkiesing van 1924 verkry die gekombineerde Nasionale Party-Arbeidersparty die absolute meerderheid in die Volksraad (tweede kamer van die Parlement van Suid-Afrika). Hertzog het premier geword van 'n kabinet waarin die NP- as (twee) Arbeidersparty-politici sitting gehad het. Kolonel Cresswell (minister van Verdediging) van die Arbeidersparty het vise-premier geword.
In 1927 is die vlag van Suid-Afrika verander en saam met "God save the King" is "Die Stem van Suid-Afrika" as die amptelike volksliedere van die Unie van Suid-Afrika (1927) aanvaar. Ook wat die taalbeleid en die standpunte oor die Kleurlinggemeenskap betref, het Hertzog en Malan lynreg teen mekaar gestaan. Hertzog was van mening dat Nederlands nog altyd ons kultuurtaal was en dat ons hierdie taal deel met die Vlaminge en Nederlanders soos ook die Amerikaners en Australiërs 'n gemeenskaplike taal deel met die Engelse. Malan was van mening dat Nederlands 'n buitelandse produk was. Hertzog wou die Kleurlinge op die kieserslyste hou, terwyl Malan die Kleurling van die kieserslyste wou skrap.
By die parlementsverkiezing van 1929 het die NP die absolute meerderheid in die Volksraad verkry en die Arbeidersparty is as koalisieparty laat vaar. Desondanks kon Frederick Hugh Page Cresswell en sy sosialistiese kollega, wat intussen uit die Arbeidersparty geskors is, as vise-premier aanbly, ondanks verset van die Kaapse afdeling van die NP.
Danksy die Statuut van Westminster (1931) verkry Suid-Afrika as grondgebied volledige onafhanklikheid binne die Britse Gemenebes. In dieselfde jaar verkry blanke vroue stemreg. Hertzog het sedertdien laat weet dat hy nie meer na 'n republiek streef nie. Suid-Afrika in sy oë al voldoende onafhanklikheid geniet. Daniel François Malan en die lede van die Broederbond het gevind dat Hertzog te gereeld kompromieë nastreef. Hy moes volgens hulle die "God save the King" as volkslied afgeskaf het en moes hy sy republikeinse idee nie laat vaar het nie.
Die stryd oor die goudstandaard het verreikende gevolge in die Suid-Afrikaanse politiek gehad. Hertzog is deur die Opposisie en die pers skerp gekritiseer, terwyl hy in sy eie geledere ook steun verloor het. Baie het hom as 'n outokraat bestempel en hom verantwoordelik gehou vir die ekonomiese ellende.
In 1932 het Tielman Roos, wat drie jaar tevore die politiek verlaat het, aangekondig dat hy gaan terugkeer en met die steun van baie Nasionaliste in die Parlement 'n nuwe party stig. Hertzog het ingesien dat 'n skeuring in die NP tot voordeel sou strek van die SAP, wat dan met die volgende verkiesing aan bewind sou kom. Hy het gevrees dat alles wat hy tot dusver bereik het, veral ten opsigte van die Afrikaners se nasionale identiteit, dan weer verlore sou gaan. Die SAP het 'n ekstremistiese vleuel bevat aan wie se eise Smuts sou moes toegee om aan die bewind te kon bly. In Desember 1932 het Hertzog aangekondig dat die Unie die goudstandaard verlaat. Vroeg die volgende jaar het die ekonomie reeds tekens van herstel getoon. Hertzog se posisie was egter nog wankelrig as gevolg van Roos se voortgesette intriges.
Hertzog het verklaar dat samewerking tussen hom en Smuts moontlik geword het omdat hul vernaamste geskilpunt, die Imperiale konneksie, grootliks uit die weg geruim was. In opvolging van die Balfour-verklaring is die Britse wette ten opsigte van die dominiums by die Imperiale Konferensie van 1930 te berde gebring. Teoreties gesproke kon die status van die dominiums nog deur hierdie wette aangetas word.
Daarmee is die Statuut van Westminster in die wetgewing van die Unie opgeneem. Dit sou dus geen verskil maak indien die Statuut deur die Britse regering herroep word nie, soos wat teoreties moontlik was. Saam met die Statuswet is 'n wet uitgevaardig ter regulering van die gebruik van die koninklike seëls. Die wet het bepaal dat die koninklike seël is in bewaring van die Eerste Minister van die Unie gehou word. Die koning kon sy uitvoerende gesag in Suid-Afrika dus slegs op advies van die Eerste Minister uitoefen.
Nadat hierdie wetgewing deur die Suid-Afrikaanse parlement bekragtig is, het 'n Britse kenner van konstitusionele reg verklaar dat Suid-Afrika heeltemal van Brittanje ontvoog was. Hertzog het dus daarin geslaag om aan die Unie 'n konstitusionele status te gee wat dit in 1961 moontlik gemaak het om uit die Statebond te tree en 'n republiek te stig.
Met 'n groot meerderheid in die Parlement het Hertzog hom nou beywer vir die verdere ontwikkeling van sy beleid vir Swartmense. Van die vier wetsontwerpe wat in 1927 na 'n gekose komitee verwys is, is net twee aanbeveel. Sekere wysigings is aangebring om te voldoen aan eise binne sy eie party en aan die van die Opposisie, maar in wese was die twee wette wat in 1936 met 'n tweederdemeerderheid goedgekeur is, dieselfde as die waarmee Hertzog tien jaar vroeër vorendag gekom het.
Die Naturelletrust en - grond Wet het voorsiening gemaak vir die reservering van nog grond vir die afsonderlike ontwikkeling van Swartmense. 'n Spesiale fonds en trust is in die lewe geroep om die grond aan te koop en te administreer. Die Naturelle-Verteenwoordigings-Wet het voorsiening gemaak vir 'n landwye verteenwoordigende Swart raad (die Bantoeraad) wat slegs adviserende magte sou hê.
In 1933, na die parlementsverkiesing, het die NP en die Suid-Afrikaanse Party (SAP) van Smuts 'n koalisie aangegaan en het Smuts vise-premier geword en Hertzog premier. 'n Jaar later, in 1934, het die NP en die SAP saamgesmelt, teen die sin van die regse vleuel van de NP, om die Verenigde Party (VP) te vorm. As gevolg hiervan het die republikeine onder parlementslid D.F. Malan hulle van die NP afgeskei en stig hulle die Gesuiwerde Nasionale Party (NP), met sy sterkste steun in die Kaapprovinsie en die Oranje-Vrystaat. Slegs een Transvaalse parlementslid van die NP het Malan gevolg om aan te sluit by die NP, naamlik Johannes Gerhardus Strijdom.
In 1938 het die VP 'n klinkende oorwinning by die stem bus behaal, 'n teken dat die party die vertroue van sowel Afrikaans- as Engelssprekendes geniet het. Tog het die samewerking tussen Hertzog en Smuts nie sonder spanning geskied nie. In 1938 het Hertzog se verklaring dat Die Stem van Suid-Afrika voortaan die amptelike volkslied sou wees, amper tot 'n breuk tussen die twee leiers gelei.
Net soos in die geval van die vlagkwessie, is daar op 'n kompromis besluit: Die Stem sou by alle staatsfunksies gespeel word, terwyl God Save the King as 'n gebed vir die koning gebruik sou word by geleenthede waar die koning deur die goewerneur-generaal verteenwoordig is. Die VP is ondermyn deur 'n nuwe oplewing in die Afrikaanse kultuur in die laat dertigerjare.
Reeds in 1936 het Hertzog verklaar dat die Unie neutraal sou bly in geval van 'n Europese oorlog waarby Brittanje betrokke is. Tydens die Sudeten-krisis in 1938 het die Suid-Afrikaanse parlement Hertzog se neutraliteitsbeleid goedgekeur. In April 1939 het Hertzog weereens verklaar dat die Unie aan 'n oorlog sou deelneem slegs indien sy eie belange bedreig word. Volgens hom was die Unie, in ooreenstemming met sy soewereine status, nie gebonde deur Brittanje se waarborg van hulp aan Pole in geval van 'n Duitse inval nie.
In die laaste paar maande voor die oorlog het die Britsgesinde pers in toenemende mate daarop aangedring dat die Unie Brittanje daadwerklik bystaan in geval van 'n Europese konflik. Toe Brittanje en Frankryk op 3 September 1939 teen Duitsland oorlog verklaar, was die toestand in Suid-Afrika dus reeds gespanne. 'n Spesiale sitting van die Parlement was aan die gang ten einde die lewe van die Senaat te verleng. Die vorige dag het Smuts dit prontuit gestel dat hy nie ten gunste van 'n neutraliteitsbeleid was nie. Op die dag van die oorlogsverklaring het die kabinet byeengekom om 'n beslissing te neem.
Daardeur het hy die indruk geskep dat sy standpunt op blote anti-Britse gevoelens gegrond was en het hy dit vir Smuts makliker gemaak om hom met 'n meerderheid van 13 stemme te verslaan. Hertzog het daarop die goewerneur-generaal versoek om die Parlement te ontbind en 'n verkiesing uit te skryf om die mening van die volk te peil. Sir Patrick Duncan het egter gemeen dat Smuts oor 'n voldoende meerderheid in die Parlement beskik het en het hom versoek om 'n nuwe regering saam te stel. Die val van Hertzog en die einde van die Samesmelting het die hoop onder die Nasionaliste laat opvlam dat Hertzog en Malan met mekaar versoen sou raak.
Hertzog was 'n teenstander van Suid-Afrikaanse deelname aan die Tweede Wêreldoorlog. Volgens Hertzog moes Suid-Afrika neutraal bly. Hierin het hy lynreg teenoor Smuts gestaan, wat net soos die meeste Engelse blankes, 'n voorstander was van deelname aan die oorlog aan die kant van Groot-Brittanje. In die kabinet in September 1939 het 7 teen 6 ministers vir oorlogsdeelname  gestem. Hertzog het verwag dat die parlement anders sou oordeel. Maar 80 teen 67 parlementariërs het 4 September 1939 vir oorlogsdeelname gestem. 'n Groot deel van die vroeë NP parlementariërs het dus ook ten gunste van die oorlog gestem. Hertzog het dit as 'n nederlaag beskou en afgetree as premier. Op 5 September is Hertzog deur Smuts as premier opgevolg. Hertzog het met 37 ander VP lede weggebreek en die Volksparty gestig. Hertzog se Volksparty sou direk daarna weer saamsmelt met Malan se Gesuiwerde Nasionale Party om die Herenigde Nasionale Party (HNP) te vorm. Die hereniging was egter van korte duur. Die verskille tussen Hertzog en Malan was te groot. Hertzog het uit die politiek getree en sy belangrikste ondersteuners sou onder die leiding van N.C. Havenga die Afrikanerparty stig. Hertzog is in 1942 oorlede.