פוץ נולד ב-26 בינואר 1859 בעיר מץ שהשתייכה אז לקיסרות הצרפתית השנייה, למשפחה בעלת עבר צבאי. לאחר מלחמת צרפת–פרוסיה, הפכה מץ לחלק מהקיסרות הגרמנית, ומשפחתו של פוץ, שבחרה לשמור על אזרחותה הצרפתית, גורשה משם. פוץ למד באקול פוליטקניק, התגייס לצבא צרפת בשנת 1879, ושרת בחיל הארטילריה. בין השנים 1881–1882 הוא לחם נגד מורדים בתוניסיה, בין 1885–1887 הוא לחם במלחמת סין–צרפת, בין 1896–1899 הוא השתתף במשלחת השנייה למדגסקר, ובין 1900–1901 הוא שרת בסין כחלק מהכוח הצרפתי שהשתתף בדיכוי מרד הבוקסרים. בשנת 1909 הועלה לדרגת קולונל, בשנת 1911 הועלה לדרגת גנרל של בריגדה, וב-1913 קיבל פיקוד על הדיוויזיה ה-28. ב-1 ביולי 1914 הועלה לדרגת גנרל של דיוויזיה.