В 1904 году с началом Русско-японской войны Ноги вернулся на военную службу. Он был назначен командующим 3-й армией, численностью 90 тысяч человек, сформированной японцами для осады Порт-Артура. Ещё до прибытия Ноги в Маньчжурию в первых сражениях войны погиб его старший сын, служивший в японской 2-й армии. Штурм Порт-Артура провалился, и началась знаменитая осада Порт-Артура, продолжавшаяся до 2 января 1905 года и стоившая японской армии больших потерь, в числе которых был и второй сын Ноги. Из-за того, что Ноги не смог быстро взять Порт-Артур, и растущих потерь его хотели отстранить от командования. Однако Ноги спасло личное вмешательство императора Мэйдзи. После падения Порт-Артура Ноги стал национальным героем Японии. Он командовал 3-й армией в Мукденском сражении.