Storfyrst Nikolaj ble offiser i 1872 og deltok i Den russisk-tyrkiske krig i staben hos sin far som var øverstkommanderende. I løpet av denne krigen utmerket han seg ved to anledninger. Han gikk den lange veien gjennom de militære gradene fram til 1884, da han ble utnevnt til kommandant for den keiserlige vaktstyrken, Gardehussar-regimentet. Han var kjent som en streng kommandant, men ikke mislikt av troppene. Politisk sto han for panslavismen, og han var en dypt religiøs mann.