Han kom tilbake til Japan i februar 1922, ble major, og postert til generalstaben. På denne tid utviklet han en plan om å forminske de japanske stridskrefter, men på grunn av den fremherskednde politiske stemning støtte den på heftig motstand. Samtidig var Yamashita svært aktiv politisk og tilhørte Kōdō-ha, en fraksjon i hæren som gikk inn for at militæret skulle spille en sterkere rolle i staten. Dtte bragte ham i konflikt med blant andret Tōjō Hideki og andre senere svært innflytelsesrike militære, og det hemmet hans karrieregang.