Yamagata etablerte et system med militær verneplikt i 1873. Han var sjef for den japanske generalstaben fra 1874 til 1876, og for andre gang mellom 1878 og 1882, og for tredje og siste gang i perioden 1884–1885. Yamagata ble tildelt graden feltmarskalk av Japan i 1898. Han viste sine militære kunnskaper når det gjaldt forskjellige militære spørsmål mens han satt som den fungerende krigsminister og kommanderende general under den første kinesisk-japanske krigen, som kommanderende general i den japanske Første armé under den russisk-japanske krigen, og som sjef for generalstaben sitt kontor i Tokyo.