Nogin isä oli samurai, joka kuului Chōfu-klaaniin. Nogi osallistui nuorena toiseen Chōshūn sotaretkeen ja yleni 1871 majuriksi. Hän osallistui myös Hagin ja Satsuman kapinoiden kukistamiseen. Hänestä tuli vuonna 1875 jalkaväkirykmentin apulaiskomentaja, 1880 rykmentinkomentaja ja 1885 prikaatinkomentaja. Vuonna 1887 hän matkusti Sōroku Kawakamin kanssa Saksaan täydentämään sotilasopintojaan. Vuosien 1894–1895 Kiinan–Japanin sodassa Nogi komensi 1. jalkaväkiprikaatia, joka miehitti Port Arthurin. Hänet ylennettiin kenraaliluutnantiksi, ja vuodesta 1896 hän toimi jonkin aikaa Japanille sodassa siirtyneen Formosan saaren (nyk. Taiwan) sotilaskuvernöörinä. Vuonna 1904 Nogi ylennettiin kenraaliksi. Venäjän–Japanin sodassa hän komensi Japanin kolmatta armeijaa ja johti sitkeästi 6. kesäkuuta 1904 alkanutta Port Arthurin piiritystä. Suurten vaikeuksien jälkeen kaupungin valtaus onnistui viimein 2. tammikuuta 1905. Vallattuaan kaupungin hän vei armeijansa tärkeimmälle sotanäyttämölle Mantšuriaan ja vaikutti merkittävällä tavalla japanilaisten voittoon ratkaisevassa Mukdenin taistelussa, jossa hänen armeijansa iski venäläisten oikeaa siipeä vastaan.