Il 19 luglio 1870 – a causa dei timori suscitati in Svizzera dal conflitto franco-prussiano – Herzog venne nominato generale e comandante in capo delle truppe di frontiera (37.000 uomini). Nel febbraio del 1871, mentre il Consiglio federale già si preparava alla smobilitazione, Herzog – che a causa di ciò aveva più volte minacciato le sue dimissioni all'Esecutivo federale – si schierò sulla frontiera franco-svizzera per evitare che le truppe francesi del generale Bourbaki, allo sbando dopo la Battaglia della Lisaine, entrassero in territorio elvetico, trascinando all'inseguimento i contingenti prussiani e provocando così un coinvolgimento della Svizzera nel conflitto. Con il generale Justin Clinchant, succeduto a Bourbaki, Herzog firmò la convenzione di internamento che permise ai francesi – disarmati – di trovare rifugio in Svizzera, salvaguardando così la neutralità elvetica. Rimise il suo mandato al Consiglio federale dopo il conflitto, il 15 luglio 1871. Nel 1875 venne promosso a "Capo d'arma d'artiglieria", funzione che mantenne sino alla morte, avvenuta ad Aarau il 2 febbraio 1894.