En mayo de 1888, tras la reorganización del Ejército Imperial Japonés en divisiones por consejo del asesor militar prusiano Jacob Meckel, Yamaji se convirtió en el comandante de la nueva 6.ª División, y posteriormente de la 1.ª División. Tras el estallido de la Primera guerra sino-japonesa, Yamaji entraría en combate en Jinzhou y en la Batalla de Lushunkou. En agosto de 1895, su título fue elevado a .