Etter utdannelsen på West Point ble han sendt til New Mexico og tildelt 6. kavaleriregiment, som blant annet deltok i indianerkrigene. Fra 1891 til 1895 underviste Pershing i militærteknikk ved University of Nebraska i Lincoln. Deretter kom han til 10. kavaleriregiment, der han ledet svarte soldater. Det er fra denne tiden han fikk tilnavnet «Black Jack».