הרצוג הפך לפוליטיקאי מוביל במושבת נהר אורנג', כפי שכונתה עתה האנגלים על ידי מדינת אורנג' החופשית. בשנת 1906 היה ממייסדי מפלגת האיחוד האורנג', שמטרתה הייתה לשמור על תרבות האפריקנארים ולהתנגד בעוז להתבוללות עם האנגלים. בשנת 1907, השנה בה קיבלה מושבת אורנג' ממשל עצמי, הצטרף הרצוג לקבינט של ראש הממשלה אברהם פישר כיועץ המשפטי לממשלה וכשר החינוך. באותה שנה הוא נבחר גם למחוז הבחירות של סמית'פילד בפרלמנט. הוא היה חבר בפרלמנט במשך 33 שנה (תחילה בפרלמנט של מושבת נהר אורנג', אז, משנת 1910, בפרלמנט של איחוד דרום אפריקה).
כשר החינוך של מושבת נהר האורנג', הוא פעל למען דו לשוניות (הולנדית / אנגלית) בחינוך. הוא גם נאבק למען שוויון בין שתי השפות, מכיוון שלאחר מלחמת אנגלו-בורים הייתה אנגלית נכפתה על ידי המושלים הבריטים כשפת ההוראה במקום ההולנדית. רצוג, ביחד עם שטיין, מילא תפקיד חשוב בהכרה ההולנדית כשפה הרשמית של איחוד דרום אפריקה, בנוסף לאנגלית ב־31 במאי 1910. כבר במהלך 1909, בהנהגתם של יאן סמאטס וג'ון מרימן, נערכה טיוטת חוקה, אשר קבעה את העיקרון של שתי שפות רשמיות, אך עבור הרצוג וסטיין זה לא היה מספיק. הרצוג ניסח תיקון לטיוטת החוקה (סעיף 137) עליו חתם באופן אישי, שאמר: ה"אנגלית כמו גם השפה ההולנדית הן שפות רשמיות של האיחוד. הם מטופלים על בסיס שווה ומחזיקים ונהנים מחופש, וזכויות שוות. כל המעשים, הדיווחים וההליכים של הפרלמנט יישמרו בשתי השפות, והצעות חוק, חוקים והודעות בעלות משקל ציבורי כללי או תעודות חוב המונפקות על ידי ממשלת האיחוד יהיו בשתי השפות""." בסופו של דבר אומץ סעיף 137 בחוק דרום אפריקה' אשר הפך את ארבע המושבות הבריטיות בדרום אפריקה לאיחוד דרום אפריקה.
שר המשפטים.
לאחר שהפרלמנט הבריטי העביר את חוק איחוד דרום אפריקה, מפלגת איחוד האורנג' הצטרפה למפלגת "העם" של לואי בותה כדי ליצור את המפלגה הדרום-אפריקאית. לאחר שהפלגה זכתה בבחירות של 1910 הרצוג מונה לשר המשפטים והחזיק בתפקיד עד שנת 1912, אז נקלע לסכסוך עם בותה בגלל מדיניותו הפרו-אנגלית של בותה. הרצוג דגל במדיניות דו-לאומית לפיה תרבות אפריקאנרית תתקיים במקביל לתרבות אנגלית באיחוד. בותה דגל במדיניות פיוס, בה היו חייבים להיות בורים והאנגלים התאחדו לקבוצה תרבותית חדשה. השפה של קבוצת התרבות החדשה לא הייתה חשובה עבור בותה והוא היה מוכן לקבל את האנגלית כשפה של הקבוצה התרבותית החדשה.
הקמת המפלגה הלאומית.
לאחר שהרצוג יצר פרובקציה כנגד האוכלוסייה דוברת האנגלית בנטאל, אשר הובילה להתפטרות אחד מהשרים בקבינט מנטאל, בותה דרש מהרצוג להתפטר מן הקבינט. לאחר שהרצוג סירב בותה פנה למושל הכללי הבריטי והודיע על כך שהוא מפזר את הממשלה. המושל מידית העניק לבותה סמכות להקים ממשלה חדשה אשר בה בותה לא כלל את הרצוג. עקב כך ביולי 1914, עם כמה "בורים זקנים" (ותיקי מלחמת הבורים השנייה שנשארו אנטי-בריטים ואנטי-אימפריאליסטים), ייסד את המפלגה הלאומית. המפלגה שם לעצמה את המטרה לשחרר את המוני האפריקנארים, לשמור על התרבות האפריקאנרית ולשבור את מונופול הכוח של האליטה האנגלית. המפלגה גם תומכה בהפרדה של לבנים ושחורים ("אפרטהייד") והתנגדה לזכות ההצבעה עבור השחורים ("הילידים").
בשנת 1916 הגיש גורדון טומלינסון מוורדפורט הצעה להשתמש באפריקאנס כשפה הראשמית של המפלגה. הרצוג התנגד והבהיר שהוא אינו מדבר אפריקאנס היטב. הרצוג גם ציין כאן שאם ייאלץ להשתמש באפריקאנס, הוא יתפטר מתפקיד יו"ר הוועד המנהל הראשי, מכיוון שהחוקה מדברת על השפה הולנדית ולא על אפריקאנס, שנתפס רק כניב של ההולנדית. הרצוג מצא ביאן הנדריק הופמייר בעל ברית בשימור הולנדית כשפה תרבותית עבור האפריקאנרים. הרצוג גם תמך בקיום קשרים טובים עם הקהילה הצבעונית, ב־14 באוקטובר 1921 הרצוג כתב בעיתון האזרח: "הם חלק מאיתנו ... לצבעוניים יש את הזכות להצביע במחוז הכף ולא ניתן לקחת מהם... אנחנו לא יכולים לעכב את זכות ההצבעה של הצבעוניים. אנחנו רוצים להתייחס אליהם בכנות ולהחשיב אותם לחברים שלנו."
מלחמת העולם הראשונה.
הרצוג התנגד גם להשתתפות דרום אפריקה במלחמת העולם הראשונה מצד אנגליה ודגל בנייטרליות, כאשר שמע על כוונתו של בותה לפלוש לדרום מערב אפריקה הגרמנית, עקב בקשה בריטית, הוא ארגן הפגנות ומחאות בפרלמנט. במהלך מרד מאריץ הוא החליט הרצוג להישאר נייטרלי. במהלך ועדת וורסי הרצוג הגיע עם משלחת של לאומנים אפריקאנרים, ללא ידיעת הממשלה, לבקש מווילסון לתמוך בדרישה האפריקאנרית בזכות להגדרה עצמית בהתאם לארבע עשרה הנקודות שלו. בשנת 1919 ירש סמאטס את מקומו של ראש הממשלה בותה לאחר פטירתו. למרות העובדה שהרצוג וסמאטס הסתדרו אישית איש עם השני, עמדותיהם הפוליטיות היו באופוזיציה ישירה זו לזו. סמאטס המשיך המדיניות של בותה והרצוג המשיך להתנגד להגמוניה האנגלית.
בבחירות לפרלמנט בדרום אפריקה בשנת 1915 המפלגה הלאומית זכתה רק ב-27 מושבים, אך בבחירות לפרלמנט של שנת 1920 הפכה למפלגה הגדולה ביותר עם 44 מושבים. הודות למספר מפלגות דוברות אנגלית בעיקר, המפלגה הדרום אפריקאית הצליחה לשמור על השלטון תחת סמאטס.
ראש ממשלה.
בתחילה נהנה סמאטס גם מתמיכתם של הלבנים העניים, אך לאחר שהורה לצבא בשנת 1922 לדכא בכוח שביתת כורים באזור הראנד הוא איבד תמיכתם. הרצוג נקט עמדה נחרצת נגד האלימות ופעל כמגן על זכויותיהם של העובדים הלבנים העניים. בבחירות לפרלמנט בשנת 1924 השיגה המפלגה הלאומית ומפלגת העבודה, אשר כרתו ברית, את הרוב המוחלט בפרלמנט. הרצוג הפך לראש ממשלה בקבינט בו ישבו המפלגה הלאומית ומפלגת העבודה. קולונל קרסוול (שר ההגנה) ממפלגת העבודה הפך לסגן ראש הממשלה של הרצוג.
בשנת 1927 שונה דגל איחוד דרום אפריקה ולצד המנון "אלוהים ישמור את המלך" נוסף המנון "הקול של דרום אפריקה". הרצוג התעמת ישירות עם דניאל מאלאן, שר הפנים שלו, על יחסה לשפה ההולנדית וליחס לקהילה הצבעונית. הרצוג סבר שהולנדית תמיד הייתה שפת התרבות של האפריקאנרים כמו האנגלית לאמריקנים ולאוסטרלים. בזמן שמאלן סבר שהולנדית היא מוצר זר. הרצוג רצה להשאיר את הצבעוניים ברשימות המצביעים, ואילו מאלן רצה למחוק את אותם מרשימות המצביעים. בבחירות לפרלמנט בשנת 1929 השיגה המפלגה הלאומית את הרוב המוחלט בפרלמנט ומפלגת העבודה ננטשה כמפלגה קואליציונית. אף על פי כן, קרסוול, שבינתיים גורש ממפלגת העבודה, הצליחו להישאר כסגנו של ראש הממשלה, למרות התנגדות בתוך המפלגה הלאומית.
הודות לחוק ווסטמינסטר (1931), דרום אפריקה קיבלה עצמאות מוחלטת במסגרת חבר העמים הבריטי. באותה שנה, נשים לבנות קיבלו את זכות ההצבעה. הרצוג הבהיר מאז שהוא כבר לא שואף להקמת רפובליקה, זאת מפני שדרום אפריקה כבר נהנית מעצמאות מספקת. דניאל פרנסואה מאלן וחברי אחוות האחים התנגדו לפשרות של הרצוג ביחס לרפובלקניזם. לדבריהם, הוא היה צריך לבטל את "אלוהים ישמור את המלך" כהמנון לאומי והוא לא היה צריך לזנוח את הרעיון הרפובליקני.
מיזוג.
השפל הגדול פגע בכלכלת דרום אפריקה בראשית שנות השלושים. מחירי המוצרים החקלאיים והיצוא החשובים ירדו בצורה חדה וסחר החוץ נעצר. בנוסף, המדינה סבלה מאחד הבצורות הגדולות ביותר בתולדות המדינה. המצב הוחרף בגלל סירובו של הרצוג לנטוש את תקן הזהב, כפי שעשתה בריטניה בשנת 1931. הוא רצה להוכיח שהאיחוד אינו רק עצמאי פוליטית מבריטניה, אלא גם כלכלית. למאבק על תקן הזהב היו השלכות מרחיקות לכת בפוליטיקה בדרום אפריקה. הרצוג ספג ביקורת חריפה על ידי האופוזיציה והעיתונות, בעוד שבשורותיו הוא גם איבד תמיכה. רבים תיארו אותו כאוטוקרט והאשימו אותו באחריות למשבר הכלכלי. בשנת 1932 הודיע טיילמן רוס, שעזב את הפוליטיקה שלוש שנים קודם לכן, כי הוא יחזור ובתמיכת לאומנים רבים בפרלמנט יקים מפלגה חדשה. הרצוג הבין שפיצול במפלגה הלאומית יועיל למפלגה הדרום-אפריקאית, שיעלו לשלטון בבחירות הבאות. הוא חשש שכל מה שהשיג עד כה, במיוחד בכל הקשור לזהות הלאומית של האפריקנרים, יאבד שוב. המפלגה הדרום-אפריקאית הכילה אגף קיצוני שרצה להחזיר את הדומיננטיות הבריטית למדינה ושלתביעותיו יצטרך סמאטס להיעתר כדי להישאר בשלטון. בדצמבר 1932 הכריז הרצוג כי האיחוד נוטש את תקן הזהב, בעקבות החלטה הכלכלה התחילה להציגה סימני התאוששות. עם זאת, עמדתו של הרצוג הייתה עדיין מטלטלת בגלל התככים המתמשכים של רוס.