Pershing syntyi kauppiaan perheeseen missourilaisella maatilalla. Päätettyään keskikoulun 1878 Pershing toimi värillisten lasten opettajana. Hän haki ja pääsi Yhdysvaltain sota-akatemiaan West Pointiin 1882. Hän valmistui upseeriksi 1886 ja ehti mukaan viimeisiin intiaanisotiin. Pershing oli mukana muun muassa Wounded Kneen verilöylyssä joulukuussa 1890. Vuonna 1895 hän johti yhtä alkuperäisiin ratsuväen "buffalo soldier" -rykmentteihin kuulunutta yksikköä, joka oli koottu lähinnä afroamerikkalaisista vapaaehtoisista. Johtaessaan yksikköä hän kokosi ja karkotti suuren joukon cree-intiaaneja Kanadaan. Vaikka Pershing oli tunnettu mustien sotilaiden puolestapuhujana, useimpien aikalaistensa lailla häneltä ei herunut sympatiaa Amerikan alkuperäisväestöä kohtaan. Pershing siirtyi takaisin West Pointiin kouluttajaksi 1897. Kovien otteidensa ja vaatimustensa vuoksi hänen oppilaansa antoivat hänelle lisänimen "Nigger Jack". Myöhemmin ensimmäisen maailmansodan aikana lehdistö muotoili lisänimen hienovaraisesti uudelleen muotoon "Black Jack".