V roce 1875 absolvoval vysokou školu École polytechnique a stal se dělostřelcem. Zúčastnil se bojů v Tunisku a poté vyučoval na škole École supérieure de Guerre. V květnu 1914 odešel do důchodu, avšak po vypuknutí první světové války byl vrchním velitelem Josephem Joffrem povolán zpět do armády. Působil na západní frontě a v čele 6. francouzské armády se účastnil bitvy na Sommě. Po porážce Italů u Caporetta a průlomu italské fronty byl na konci roku 1917 převelen do Itálie, kde vedl francouzské divize, které pomohly zastavit další postup Ústředních mocností. Generál Fayolle měl v prosinci 1917 nátlakem na strojvedoucího železničního transportu způsobit vykolejení vlaku u Saint-Michel-de-Maurienne, kde zahynuly stovky francouzských vojáků. V březnu 1918 byl znovu převelen do Francie a po odražení německé ofenzívy se podílel na závěrečném protiútoku Dohody směrem k Rýnu. Po válce velel dohodovým okupačním silám v Rýnské Falci.