הרצוג ערך שתי הופעות בנבחרת המשנה של גרמניה המערבית, וחמש הופעות בנבחרת גרמניה המערבית הבכירה, כולן בשנת 1974. הרצוג זומן על ידי המאמן הלמוט שן לסגל של מערב גרמניה למונדיאל 1974, בו לא שיחק כלל בשלב הבתים הראשון. בשלב הבתים השני פתח הרצוג בהרכב בניצחון 2-0 על נבחרת יוגוסלביה, ובניצחון 4-2 על נבחרת שוודיה, בו הוחלף על ידי יורגן גרבובסקי, שהבקיע שער והביא למפנה במשחק לטובת גרמניה המערבית. לאחר מכן, הרצוג לא שיחק עוד במונדיאל זה, וזכה בטורניר לאחר שהנבחרת המערב גרמנית ניצחה במשחק הגמר את נבחרת הולנד בתוצאה 2-1.