Herr var sønn til en kirug fra Alsace som valgte å emigrere til Frankrike etter at Alsace-Lorraine ble avstått til Tyskland som en følge av den fransk-prøyssiske krig. Herr tok utdannelse på den franske høyskolen École polytechnique fra 1874. I 1883 giftet han seg med Anne Peugeot, arvingen til Peugeot-familien. Mellom 1895 og 1902 var han aktiv i den franske kolonialiseringen av Madagaskar under ledelse av general Joseph Gallieni. I 1914 ble han forfremmet til general og til sjef for en divisjon. Han gjorde seg bemerket under slaget ved Les Éparges i 1915, og han spilte også en viktig rolle under slaget ved Verdun året etter. Han ble senere generalinspektør for det franske artilleriet.