Nyikolaj Nyikolajevics pályafutásának csúcspontját az 1877–78-as orosz–török háború jelentette, mikor őt nevezték ki a Duna mellett állomásozó seregek főparancsnokává, annak ellenére, hogy Nyikolaj nagyherceg hírhedten rossz stratégista volt. Az oroszok sorra vesztették el a csatákat Nyikolaj Nyikolajevics irányítása alatt, kiszorultak Ruméliából és sikertelenül ostromolták meg Plevent. Kudarcait látván a cár ugyan hivatalosan nem mozdította el pozíciójából, ám a tényleges irányítást kivette kezéből. Adrianopolisz bevétele és a San Stefanó-i béke a nagyherceg hírnevét erősítette, noha a háború végeztével számosan kritizálták őt, amiért Adrianopolisz megszerzése után nem kísérelte meg elfoglalni Konstantinápolyt. Szintén megvádolták azzal, hogy a kormányzati pénzeket nem a hadsereg számára, hanem magáncélokra használja fel.