John J. Pershings foreldre var forretningsmannen John Fletcher Pershing og Ann Elizabeth Thompson, husmor. Pershings tippoldefar, Frederick Pershing, som opprinnelig het Pfersching, hadde innvandret fra Elsass med skipet «Jacob» fra Amsterdam med ankomst i Philadelphia 2. oktober 1749. Pershings mor var av engelsk slektsbakgrunn. John var den eldste av en søskenflokk på seks barn. Da borgerkrigen begynte støttet faren Unionen og var marketenter for 18th Missouri Volunteer Infantry.