明治27年（1894年）になると、朝鮮では甲午農民戦争が勃発し、宗主国である清と日本の緊張が高まり、伊藤内閣も清との戦争を覚悟するようになった。6月下旬、山縣は釜山から上陸し、朝鮮半島を北上する戦争計画を立案したが、陸軍や海軍には受け入れられなかった。7月から始まった日清戦争では、枢密院議長として大本営のメンバーであった。しかし56歳にもかかわらず戦地に赴くことを希望し、8月8日に第一軍司令官の内命を受け、9月8日に宇品港を出向して朝鮮半島に向かった。配下の野津道貫が率いる第5師団が9月の平壌の戦いで平壌を陥落させるなど戦果はあげていたものの山県自身は9月20日頃から体調を崩し、11月初め頃には胃病に悩まされるようになった。山縣の病気は日本国内にも伝えられ、11月29日に天皇は「病気にかかったと聞いて心配に耐えない」「戦地の様子を聞かせるように」という勅語で帰国を命じた。病状は回復しつつあると伝えていた山縣は不満であったが、12月8日に帰国している。