פרשינג ואחיו למדו בבית ספר קטן בלקליד שבו למדו ילדי העלית של העיירה, מתוקף מעמדו של האב כאיש עסקים נכבד באזור. ב-1878 סיים את לימודיו והחל לעבוד כמורה בעיירה. הוא לימד גם את ילדי השחורים ופיתח סובלנות בין-גזעית בתקופה ובאווירה שהייתה גזענית מאוד בדרך כלל. סובלנות זו באה לידי ביטוי בקריירה הצבאית שלו, עת פיקד על יחידות מעורבות של חיילים.
בין השנים 1880–1882 למד במכללה להוראה בקירקסוויל, מיזורי (כיום אוניברסיטה ציבורית הנקראת על שם הארי טרומן). באביב 1882 הגיש את מועמדותו לאקדמיה הצבאית הלאומית של ארצות הברית. מה שהניע אותו בראש ובראשונה להצטרף ל"וסט פוינט", הייתה ההזדמנות לרכוש השכלה גבוהה טובה יותר משיכול היה להשיג במיזורי הכפרית. הרצון לשרת בצבא היה שיקול משני בהחלטה.
שנותיו בווסט פוינט.
פרשינג הושבע כצוער בווסט פוינט בסתיו 1882. במהרה התקדם בסולם הדרגות עד שהגיע לדרגה הגבוהה ביותר שפתוחה לצוער באקדמיה, סרן ראשון. מתוקף תפקידו פיקד על משמר הכבוד של וסט פוינט שליווה את נשיא ארצות הברית לשעבר יוליסס גרנט בדרכו האחרונה.
ב-1886 סיים את לימודיו באקדמיה וזכה לשבחים מהממונה עליה, הגנרל וסלי מריט , שראה בו כושר מנהיגות גבוה ויכולת עילאית. קודם לכן שקל לבקש דחייה של שירותו הפעיל, על מנת ללמוד משפטים. אולם לבסוף ויתר על רעיון זה והצטרף לשירות פעיל במקום. בגיל 26 הוא סיים את לימודיו (במקום ה-30 מ-77) וגויס לצבא בדרגת סגן משנה. באותה שנה מתו אביו ואימו, בהפרש של שבוע וחצי ביניהם.
ראשית הקריירה.
פרשינג החל לשרת ב-30 בספטמבר 1886 והוצב בפורט ביארד , ניו מקסיקו במסגרת חיל הפרשים. הצבא האמריקני עסק באותה עת בלוחמה מתמשכת נגד האינדיאנים. פרשינג צוין לשבח על אומץ ליבו במערכה נגד האפאצ'י. בין השנים 1887–1890 הוא הוצב בקליפורניה, אריזונה ודקוטה הצפונית. בתקופה זו הוא גם היה לצלף מצטיין: ב-1891 הוא דורג במקום השני בירי באקדח וחמישי ברובה מבין כל חיילי צבא ארצות הברית.
ב-9 בדצמבר 1890 הגיע לסו סיטי, איווה ונטל חלק קטן בדיכוי המרד האחרון של שבט הסו המקומי (Ghost Dance Campaign, 'מערכת מחול רוחות הרפאים', 29 בדצמבר 1890 עד 15 בינואר 1891), אשר היה המרד האינדיאני הגדול האחרון בתולדות ארצות הברית. שנה לאחר מכן מונה למדריך לטקטיקה צבאית באוניברסיטת נברסקה-לינקולן . הוא המשיך בתפקידו זה עד 1895 אך לא קודם. בגיל 35 עדיין נותר סגן משנה. הוא ניצל את זמנו בנברסקה וסיים את התואר הנכסף במשפטים, ב-1893. בשלב זה של חייו פרשינג שקל שוב להמיר את חיי הצבא בקריירה משפטית.
ב-1 באוקטובר 1895 קודם לדרגת סגן וקיבל פיקוד על יחידה מרגימנט הפרשים העשירי , שבו שירתו חיילים שחורים תחת קצינים לבנים. מבסיסו בפורט אסיניבוין בצפון מונטנה הוא יצא בראש משלחת לדרום ולדרום-מערבה, שאספה והגלתה לקנדה מספר רב של אינדיאנים משבט הקרי . פרשינג, כרוב בני דורו, לא הזדהה עם סבלותיהם של בני השבטים המגורשים מעל אדמתם. אולם, לעומת זאת, הוא היה תומך נלהב של החיילים השחורים בצבא, אשר את תרומתם העריך.
ב-1897 הוא התמנה למדריך בווסט פוינט, שם היה חבר בצוות הטקטי. צוערים שלא אהבו את קשיחותו ואת הדרישות הגבוהות שהעמיד כינו אותו "ניגר ג'ק" (ניגר - כינוי גנאי לכושי), על רקע שירותו הקודם עם השחורים. הכינוי דבק בו ובימי מלחמת העולם רוכך על ידי העיתונאים - ל"בלאק ג'ק" ('ג'ק השחור', וגם משחק קלפים ידוע), כינוי אשר פרשינג עצמו אימץ.
במלחמות עם ספרד והפיליפינים.
עם פרוץ מלחמת ארצות הברית–ספרד קיבל פרשינג, ב-26 באוגוסט 1898, דרגה זמנית של רב-סרן ופיקוד על מתנדבים במסגרת הרגימנט. הוא ציון לשבח על אומץ ליבו בקרב גבעת סן חואן בקובה. ב-1918 ושוב ב-1932, קיבל אותות נוספים על ביצועיו בקרב זה.
במרץ 1899, לאחר תקופה בה היה חולה במלריה, התמנה לראש המשרד למכס ולענייני האיים (Office of Customs and Insular Affairs), שתחת סמכותו נפלו השטחים שנכבשו מהספרדים במלחמה - קובה, פוארטו ריקו, הפיליפינים וגואם. אולם אז פרצה מלחמת ארצות הברית–הפיליפינים והוא נשלח למנילה, שם התייצב ב-17 באוגוסט 1899 והושם במחלקת מינדנאו וג'ולו , שם פיקד על המאמצים לדכא את הכוחות המורדים. ב-27 בנובמבר 1900 התמנה לשליש אותה מחלקה, תפקיד בו עשה עד ה-1 במרץ 1901. שוב צוין עוזו לשבח, הפעם על חלקו בקרב על מוצב המורדים במקאג'מבו, על נהר קגאיאן .
באביב 1901 בוטל מינויו הזמני כרב-סרן בחיל המתנדבים והוא גויס מחדש כסרן בצבא הסדיר . הוא נלחם בפיליפינים במסגרת הרגימנט הראשון של הפרשים ואחר כך כקצין מודיעין ברגימנט החמישה עשר . הוא השתתף בקרבות נגד שבטי המורו וקיבל אות הצטיינות נוסף, על פעולה בקרבת אגם לאנאו . ביוני 1901 פיקד לזמן קצר על מחנה ויקרס בפיליפינים, בהחליפו קצין אחר שקודם.
עלייתו לדרגת גנרל.
ביוני 1903 קיבל פרשינג הוראה לחזור לארצות הברית. בגיל 43 הוא עדיין היה רק סרן בצבא. הנשיא תאודור רוזוולט ביקש מהמטה הכללי של הצבא לקדם אותו לדרגת קולונל, אך מפקדיו של פרשינג לא היו מוכנים לשמוע אפילו על קידום לרב-סרן. רוזוולט כעס, אך לא היה בידו להפוך את ההחלטה, מאחר שהנשיא (כמפקד העליון של הצבא) רשאי לקדם קצינים רק בדרגת הגנרל השונות, ולא מתחת להן.
ב-1904 הוא מונה לסגן ראש המטה של הדיוויזיה הדרום מערבית, שהוצבה באוקלהומה סיטי, אוקלהומה. באוקטובר אותה שנה הוא למד במכללת המלחמה של צבא ארצות הברית, ולאחר מכן נשלח לוושינגטון בלא לקבל משימה או משרה ספציפית. הנשיא רוזוולט, שלא יכול היה כאמור להעלותו בדרגה, החליט במקום זה לבקש מהקונגרס לאשר מינוי דיפלומטי עבורו. ב-1905 הוא קיבל מינוי זה, כנספח הצבאי בטוקיו. באותה שנה הוא נשא לאישה, בטקס בו נכח גם הנשיא, את הלן פרנסיס וורן, בתו של הסנאטור רב ההשפעה פרנסיס וורן מויומינג, יושב ראש הוועדה לענייני צבא של הסנאט. קשר הנישואים סייע רבות לקידום הקריירה הצבאית שלו, אך לפי חליפת המכתבים בין בני הזוג הם נישאו מאהבה, ולא משיקולים פוליטיים. במהלך נישואיו נולדו לו שלוש בנות ובן.
לאחר ששימש משקיף במלחמת רוסיה–יפן שב פרשינג בסוף 1905 לארצות הברית. הנשיא רוזוולט זעזע את הממסד הצבאי כששכנע את הקונגרס לאשר את העלאתו לדרגת בריגדיר-גנרל, דילוג של שלוש דרגות מלאות. מספר קצינים בכירים זעמו על המינוי והמשיכו לאורך השנים להחזיק בדעה שהוא קודם משיקולים פוליטיים ולא בזכות יכולתו.
ב-1908 נשלח לזמן קצר לשמש משקיף בבלקנים, כשבסיסו היה בפריז. הוא שב הביתה ונשלח ב-1909 לפיליפינים, שם שירת עד 1912. במהלך שנים אלה פיקד על פורט מקינלי שבמנילה, וכמושל מחוז המורו. במהלך תקופה זו הוא היה לנוצרי אפיסקופלי.
פנצ'ו וייה והמהפכה המקסיקנית.
בינואר 1914 קיבל פרשינג את הפיקוד על הבריגדה השמינית של הצבא בפורט בליס, טקסס והופקד על אבטחת הגבול המקסיקני. במרץ 1915 הוא הוביל את כוחותיו במסע למקסיקו, פעולת תגמול כנגד פשיטותיו של פנצ'ו וייה על אדמת ארצות הברית. אחד מעוזריו בימים ההם היה ג'ורג' פטון. המסע זכה להצלחה מוגבלת - רבים מכוחותיו של וייה, כולל שני גנרלים, נהרגו. אולם וייה עצמו נמלט, והפשיטות מעבר לגבול לא נפסקו לאורך 1916–1917, בזמן שפרשינג היה במקסיקו. בשיחות פרטיות הביע פרשינג את אכזבתו מהנשיא וודרו וילסון, שהטיל עליו מגבלות שהקשו עליו את ביצוע המשימה. אבל הוא לא נתן פומבי לרגשות אלה, והכריז על המסע כהצלחה. בכל זאת, הקרבות במקסיקו הקנו אימון וניסיון לצבא האמריקני, ולשורה של מפקדים בשורותיו, כולל פרשינג עצמו.
באותן שנים, פקדה את פרשינג טרגדיה אישית: ב-27 באוגוסט 1915, בבית משפחתו בפרסידיו של סן פרנסיסקו פרצה דליקה. הסובבים טעו לחשוב שלא נותר איש בבית ולא נכנסו לחלץ את הלכודים בבית העץ הבוער. ממשפחת פרשינג, שכבר עשתה הכנות אחרונות לקראת מעבר לפורט בליס, שרד רק הבן וורן בן השש. אשתו של פרשינג ושלוש בנותיו ניספו בלהבות. פרשינג התבשר על האסון במברק ועזב את פיקודו רק למשך הזמן שהיה דרוש לדאוג לסידורי הקבורה ולהפקיד את בנו הנותר בידי אחותו מיי. רבים מבני זמנו אמרו על פרשינג שלא שב להיות אותו אדם לאחר מות אשתו ובנותיו, אף שלא החצין את רגשותיו והטיל עצמו כל כולו אל תוך עבודתו. כינוי הגנאי "בלאק ג'ק" קיבל משמעות אחרת לגמרי ונלחש מאז ביראת כבוד.
מלחמת העולם הראשונה.
בעקבות כניסתה של ארצות הברית למלחמת העולם ב-1917 מינה הנשיא וילסון את פרשינג למפקדו של חיל המשלוח האמריקני לאירופה. כך נפלה עליו האחריות לארגן, לאמן ולדאוג לאספקה לכוח לא מנוסה שגדל במהלך השנתיים האלו מ-27,000 איש ללמעלה מ-2 מיליון. לזכותו של פרשינג נזקפת יצירת "הצבא הלאומי", שילוב של כוחות מגויסים ואנשי צבא מקצועיים, שלחמו במלחמת העולם הראשונה. זו המלחמה שבה הפך הצבא האמריקני מכוח דליל ואמורפי שרודף אחרי אינדיאנים, או מורדים בפיליפינים ובמקסיקו, לצבא סדיר ומיומן למלחמה אירופית, ובסדר גודל אחר לגמרי.
פרשינג קודם למייג'ור ג'נרל (גנרל עם שני כוכבים) בצבא הלאומי ויחד עם כוחותיו נחת בצרפת והחל להתכונן לקרב. מאבק כוח פרץ בינו לבין מפקדי הצבאות של בריטניה וצרפת. הללו רצו לפזר את הכוחות האמריקאיים תחת פיקודם, ולשם כך ניסו לעיתים לעקוף את פרשינג ולהדבר ישירות עם וילסון ובכירים אחרים. אולם פרשינג לא ויתר והצליח להשאיר את כוחותיו מרוכזים תחת פיקודו. אחד ממפקדי החטיבות תחתיו בעת ההיא היה דאגלס מקארתור. אחד מעוזריו היה ג'ורג' מרשל.