מאטיס נולד וגדל בעיירה פולמן שבמזרח מדינת וושינגטון. בשנת 1972 התגייס לחיל הנחתים. הוא הוכשר כלוחם ועבר קורס קציני חי"ר. לאחר מכן שירת כמפקד מחלקה רובאית וכמפקד מחלקה מסייעת בדיוויזיית הנחתים השלישית, שירת כמפקד פלוגה רובאית וכמפקד פלוגה מסייעת ברגימנט ה-1 בחיל. במלחמת המפרץ שירת כמפקד הגדוד הראשון ברגימנט ה-7 של החיל. על אומץ הלב שהפגין במלחמה עוטר מאטיס בכוכב הארד. במלחמת אפגניסטן פיקד על הרגימנט ה-7 ולאחר מכן על חטיבת המשלוח הראשונה. בלחימה בעיראק פיקד על דיוויזיית הנחתים הראשונה והוביל אותה במסע הלחימה עד לבגדאד. בשנת 2004 פיקד עליה בקרבות בפלוג'ה.