Рођен је у породици самураја. 1892. године завршио је Царску војну академију и започео каријеру као професионални официр у Царској војсци. Убрзо након тога служио је у Првом кинеско-јапанском рату, након чега је послат у царску Русију као војни аташе . Тамо се спријатељио са Такеом Хиросеом, који је служио као поморски аташе. Током свог боравка у Русији научио је течно да говори руски, чак је присуствовао литургијама Руске православне цркве, што је касније било предмет спекулација да је тајно крштен. Међутим, када је избио рат са царском Русијом, Танака је био драгоцен извор обавештајних података и истакао се као генерал-ађутант Кодама Гентаро . После победе, Танакију је поверено да састави јапанске ратне планове и наставио је да напредује у војсци до генералског чина 1920. Као активни официр именован је за војног министра у кабинетима Такаши Харе (1918-21) и Јамамото Гонохое ; ту се истакао као један од најватренијих заговорника сибирске интервенције, односно остатака јапанских трупа на територијама руског Далеког истока окупираних током постреволуционарног грађанског рата.