In 1894 brak de Eerste Sino-Japanse Oorlog uit, een conflict dat draaide om Korea. Yamagata was commandant tijdens deze oorlog en leidde samen met Ōyama Iwao (大山巌) het Japanse leger dat Mantsjoerije en het schiereiland Shāndōng veroverde. Dit was een heel belangrijke verovering voor Japan. De landsgrens kwam dichter bij Peking te liggen, wat een invasie van China gemakkelijker maakte. Yamagata was commandant tijdens deze oorlog, tot hij ziek werd en niet meer in staat was een leger te commanderen. Toen hij hersteld was, werd hij minister van Oorlog voor de rest van de oorlog.