러일 전쟁의 개전 전에 타이완 총독인 채로 내무대신을 겸임하고 있었지만 1903년에 대러시아전 계획을 입안하고 있던 참모차장 다무라 이요조(田村怡与造)가 급사하면서 참모총장 오야마 이와오의 특별한 청으로 내무대신에서 사임하고 다무라의 후임을 맡았다. 타이완 총독의 직위를 유지하였고, 러일 전쟁을 위하여 새롭게 편성된 만주군 총참모장도 맡게 되었다. 만주군 총참모장으로 만주로 건너 간 이후 요동 전투, 사하 전투, 산데푸 전투, 봉천 전투 등에서 총사령 오야마 이와오 원수를 보좌하였다. 봉천 전투를 보고 받은 대본영이 블라디보스토크으로 진군을 통한 연해주의 점령을 계획하자 고다마는 급히 도쿄로 돌아와 전쟁의 종결을 진언하였다.