Nikolaj ble utnevnt til øverstkommanderende for den keiserlige russiske hæren ved utbruddet av første verdenskrig i 1914. 22. mars 1915 ble han tildelt Sankt Georgsordenen etter den vellykkede beleiringen av befestningene i Przemyśl. I september 1915 ble han imidlertid avskjediget da tsar Nikolaj II selv overtok kommandoen direkte etter råd fra Grigorij Rasputin. Storfyrst Nikolaj ble i stedet utnevnt til visekonge og øverstkommanderende for de russiske styrkene under kampene i Kaukasus. Men den drivende kraft i dette felttoget fra russisk side var Nikolaj Judenitsj.