Hertzog kastet seg ut i politikken som hovedorganisator av Orangia Unie Party. Orange River Colony fikk i 1907 selvstyre, og Hertzog sluttet seg til kabinettet som statsadvokat og utdanningsdirektør. Hans insistering på at nederlandsk samt engelsk skulle undervises i skolene møtte bitter motstand. Han ble utnevnt til justisminister i den nye nasjonen som ble dannet 31. mai 1910 kalt Unionen Sør-Afrika. Han fortsatte i embetet til 1912. Hans antagonisme mot imperialismen og mot statsminister Botha førte til ministerkrise. I 1913 ledet han utmeldelsen til de gamle boerne og den antiimperialistiske seksjonen fra South African Party.