Nikolaj ble utnevnt til øverstkommanderende for den keiserlige russiske hæren ved utbruddet av første verdenskrig i 1914. 22. mars 1915 ble han tildelt Sankt Georgsordenen etter den vellykkede beleiringen av befestningene i Przemyśl. I september 1915 ble han imidlertid avskjediget da tsar Nikolaj II selv overtok kommandoen direkte etter råd fra Grigorij Rasputin. Storfyrst Nikolaj ble i stedet utnevnt til visekonge og øverstkommanderende for de russiske styrkene under kampene i Kaukasus. Men den drivende kraft i dette felttoget fra russisk side var Nikolaj Judenitsj. Etter tsarens abdikasjon som følge av februarrevolusjonen i 1917, ble Nikolaj igjen en kort periode russisk øverstkommanderende. Han var da fortsatt i Kaukasus. Georgij Lvov kansellerte denne utnevnelsen, og Nikolaj ble i stedet internert på Krim som da var under kontroll av Den hvite armé. Han satt i husarrest i nesten to år. I april 1919, rett før Den røde armé inntok halvøya, ble han evakuert sammen med sin hustru med det britiske slagskipet "HMS Marlborough".