Mit Ausbruch des Ersten Weltkriegs wurde Herzog zur Ersatz-Abteilung seines Regiments versetzt. Von dort kam er drei Wochen später zum Reserve-Feldartillerie-Regiment Nr. 53, wo Herzog zunächst als Abteilungsadjutant und Gerichtsoffizier verwendet wurde. Im Verband mit der 53. Reserve-Division (3. Königlich Sächsische) nahm er nach der Aufstellung des Regiments ab 10. September 1914 u. a. an der Schlacht an der Yser sowie den folgenden Stellungskämpfen teil. Mitte Mai 1915 wurde Oberleutnant Herzog Batterieführer. In dieser Funktion zeichnete er sich während der Herbstschlacht in der Champagne in seinem Abschnitt bei Ripont durch mehrere unter schwierigen Verhältnissen durchgeführte Erkundungspatrouillen aus. Für diese Leistungen wurde Herzog am 17. März 1916 mit dem Ritterkreuz des Militär-St.-Heinrichs-Ordens beliehen. Nach der Schlacht an der Somme und den anschließenden Stellungskämpfen im Artois und in der Champagne verlegte der nunmehr zum Hauptmann beförderte Herzog im November 1916 sein Regiment an die Ostfront. Dort wurde er von Ende Januar 1917 bis Ende April 1917 im Rahmen des 3. Austauschkursus zum Feldhaubitz-Regiment 54 beim k.u.k. Korps Hoffmann kommandiert. Nach seiner Rückkehr zu seinem Regiment fungierte er als stellvertretender Führer der II. Abteilung. Diese Funktion wechselte innerhalb der kommenden Monate mehrfach zu seiner Tätigkeit als Batterieführer. Vom 3. November 1917 bis 19. September 1918 war Herzog dann Adjutant des Artilleriekommandeurs Nr. 152. Anschließend kommandierte man ihn zur Ausbildung im Generalstabsdienst bei der 24. Reserve-Division (2. Königlich Sächsische).