Venäjän–Japanin sodan puhjettua Gripenbergistä tehtiin syyskuussa 1904 vastaperustetun 2. Mantšurian armeijan komentaja. Hänen armeijansa kuitenkin alistettiin 1. armeijalle, eikä hän tullut toimeen ylipäällikkönä toimineen kenraali Aleksei Kuropatkinin kanssa. Yrittäessään pysäyttää Mukdenia kohti edenneet Oyama Iwaon komentamat japanilaiset Kuropatkinin armeija kärsi ylivoimastaan huolimatta tappion 26.–28. tammikuuta 1905 käydyssä Sandepun taistelussa. Kuropatkin oli määrännyt Gripenbergin iskemään japanilaisten vasempaan sivustaan, ja kahden päivän ajan hän onnistui hyökkäyksellään painamaan japanilaisia taaksepäin. Gripenberg uskoi voivansa lyödä japanilaiset, jos saisi lisäjoukkoja, mutta Kuropatkin ei lähettänyt hänelle niitä, vaan määräsi armeijansa perääntymään lähtöasemiinsa. Kuropatkinia menetetystä voitosta syyttänyt Gripenberg jätti raivoissaan eronpyyntönsä taistelua seuranneena päivänä. Ennen kuin ero ehdittiin myöntää, hän joutui komentamaan armeijaansa vielä helmi–maaliskuun vaihteessa käydyssä Mukdenin taistelussa, jossa venäläiset kärsivät uuden tappion. Pian solmittiin aselepo, ja Gripenbergin saadessa eronsa 25. maaliskuuta sota oli jo käytännössä päättynyt.