1884 begleitete Kawakami Sōroku General Ōyama Iwao bei dessen neuerlichen Europareise, um dort die Militärsysteme westlicher Länder zu studieren. Nach seiner Rückkehr wurde er 1885 zum Generalmajor befördert und war zuerst Vize-Chef des Büros des Generalstabes sowie im Anschluss 1886 Kommandeur der 2. Brigade. 1887 kehrte er abermals nach Europa zurück, wo er im Deutschen Kaiserreich an der Preußischen Kriegsakademie ein Studium der Militärwissenschaften absolvierte. Nach seiner Rückkehr wurde er im März 1889 als Nachfolger von Ozawa Takeo Vize-Chef des Generalstabes der Kaiserlich Japanischen Armee sowie 1890 zum Generalleutnant befördert. Im Oktober 1893 wurde er Vize-Chef des Büros des Obersten Kaiserlichen Hauptquartiers "(Daihon’ei)" und war als solcher maßgeblich an der Vorbereitung des Ersten Japanisch-Chinesischen Krieges (1. August 1894 bis 17. April 1895) beteiligt. Seine Nachfolger als Vize-Chef des Generalstabes der Kaiserlich Japanischen Armee wurde Osako Hisatoshi. Im März 1895 wurde er abermals Vize-Chef des Generalstabes. Zugleich wurde er 1895 als Vizegraf "(Shishaku)" in den Adelsstand "(Kazoku)" erhoben. Am 20. Januar 1898 wurde er als Nachfolger von Komatsu Akihito Chef des Generalstabes der Kaiserlich Japanischen Armee und auch General. Er führte Reformen des militärischen Systems der Armee sowie zur Einführung einer modernen Strategie ein. Das Amt des Generalstabschefs hatte er bis zu seinem Tode am 11. Mai 1899 inne und wurde daraufhin von General Ōyama Iwao abgelöst.