Szamuráj családban született, majd ifjúkorára tiszt lett a Japán Császári Hadseregben. Részt vett az első kínai–japán háborúban. Oroszlánrésze volt Lüshunkou (a későbbi Port Arthur) elfoglalásában, de nem tudni, hogy milyen mértékben volt köze a győzelem utáni mészárlásokban. A háború után két évig Tajvan kormányzója volt. Az 1904-ben kitört orosz–japán háború során ő irányította a japán csapatokat Port Arthur ostroma idején, és véres küzdelmek után végül sikerült bevennie az oroszok uralta kikötőt 1905. január 2-án. Egy hónappal később az ostrom befejezése után immár felszabadult 3. hadsereggel Nogi sikeresen harcolt a Mukdeni csatában, ahol végső győzelmet arattak az orosz szárazföldi erők felett.