Pershings promoties verliepen aanvankelijk moeizaam, mede tot woede van toenmalig president Theodore Roosevelt die Pershing uiteindelijk zou benoemen tot diplomaat in Japan. In 1905 trouwde hij met de dochter van een invloedrijk senator, Francis Warren. Pershing was in Japan tijdens de Russisch-Japanse Oorlog en na terugkomst in de Verenigde Staten werd hij tot brigadegeneraal gepromoveerd. Na een kort verblijf in Europa werd hij wederom naar de Filipijnen gestuurd. In 1914, werd hij gestationeerd langs de grens met Mexico waar hij onder andere de vergeefse expeditie leidde om Pancho Villa gevangen te nemen. In 1915 ontving Pershing een telegram met het nieuws dat zijn vrouw en drie van zijn vier kinderen bij een brand in hun huis om het leven waren gekomen, een klap die hij nooit helemaal te boven kwam.