После завершения войны Герцог стал одним из руководителей националистической партии «Оранский союз», а в 1907 вошёл в правительство получившей автономию Оранжевой колонии в качестве генерального прокурора министра образования и добивался на этом посту увеличения преподавания африкаанса в школах. В 1910 Герцог стал министром юстиции в составе первого правительства ЮАС, руководимого Луисом Ботой, но, недовольный пробританской ориентацией Боты, в 1912 вышел в отставку, а в 1913 возглавил вышедших из Южноафриканской партии националистов. Вскоре Герцог был избран председателем Национальной партии, придерживавшейся националистических африканерских позиций. В период восстания буров в 1914 году он занял нейтральную позицию, а в дальнейшем жёстко критиковал участие страны в Первой мировой войне и активную внешнюю политику правительств Боты и Яна Смэтса. В 1924 на очередных парламентских выборах Национальная партия получила большинство в парламенте, и Герцог сменил Смэтса во главе правительства.