Venäjän–Japanin sodan puhjettua Ōyama nimitettiin helmikuussa 1904 Mantšuriaan lähetetyn armeijan komentajaksi. Hänen suunnitelmansa mukaan kolme armeijaa etenisi Korean niemimaan länsirannikolta ja Liaotungin niemimaan itärannikolta kohti Liaoyangia, ja samanaikaisesti Port Arthur vallattaisiin venäläisiltä. Port Arthur kesti japanilaisten piiritystä odottamattoman pitkään, mutta muilta osin Ōyaman suunnitelma toteutui. Ōyama siirtyi heinäkuussa 1904 Tokiosta Mantšuriaan johtamaan operaatioita. Hänen johdollaan japanilaiset voittivat Liaoyangin, Shahon ja Mukdenin taistelut, joista viimeinen ratkaisi sodan heidän edukseen. Sodan jälkeen Ōyama vetäytyi 1906 sotilaspalveluksesta. Seuraavana vuonna hän sai ruhtinaan ("kōshaku") arvon. Vuodesta 1914 hän toimi keisarillisena sinetinhaltijana.