Во время японско-китайской войны 1894—1895 годов Ямагата был назначен командующим первой армии и уехал на фронт, однако из-за болезни вскоре вернулся домой. После войны он продолжал настаивать на увеличении обороноспособности Японии, ставя в пример незащищённый Китай, который стал жертвой колонизации европейских государств.