Kiinan–Japanin sodassa 1894–1895 Ōyama komensi Japanin 2. armeijaa, joka nousi maihin Liaotungin niemimaalla ja valtasi rynnäköllä Port Arthurin 21. marraskuuta 1894. Lyötyään perääntyvät kiinalaiset useissa muissakin taisteluissa hän siirtyi vuodenvaihteessa 3. armeijan komentajaksi. Ylitettyään tammikuun 1895 lopussa Bohainmeren hän nousi maihin Shantungin niemimaalla ja valtasi 10. helmikuuta kolmen viikon piirityksen jälkeen Weihaiwein tärkeän sotasataman. Tämän sodan jälkeen Ōyama sai markiisin arvon ja 1898 hänet ylennettiin sotamarsalkaksi ("gensui") sekä nimitettiin pääesikunnan päälliköksi.