Con lo scoppio della prima guerra mondiale, Herzog fu trasferito al dipartimento di riserva del suo reggimento e dopo tre settimane al 53º reggimento di artiglieria da campo dove fu inizialmente impiegato come aiutante del comandante. Con questo reggimento prese parte alla Prima battaglia di Ypres. A metà maggio del 1915, il tenente Herzog divenne capo della propria batteria d'artiglieria. In questo ruolo, ebbe modo di distinguersi durante la Seconda battaglia della Champagne, ricevendo la croce dell'Ordine di Sant'Enrico di Sassonia dal 17 marzo 1916. Dopo la battaglia della Somme ed i successivi scontri nell'Artois e nello Champagne, Herzog, già promosso capitano dal novembre del 1916, venne trasferito sul fronte orientale. Da fine gennaio 1917 a fine aprile 1917 fu membro del comando superiore del 54º reggimento. Tornato al suo reggimento, ne fu vicecomandante. Dal 3 novembre 1917 al 19 settembre 1918 Herzog fu aiutante del comandante del 152º reggimento d'artiglieria e venne infine destinato allo stato maggiore della 24ª divisione di riserva.