参謀本部総務部長、陸軍士官学校校長、第12師団長を歴任。軍令、教育畑が長く政治色は薄かった。1939年（昭和14年）10月、中支那派遣軍司令官から教育総監に就く。1944年（昭和19年）2月に東條英機首相兼陸相が国務と統帥の一元化を図り、参謀総長兼任を企図した際には、杉山元参謀総長が強く抵抗、山田も統帥権独立への抵触を危惧するが、最終的にはこれを容認した。しかし7月のサイパン失陥を契機に東條は退陣、参謀総長となった梅津美治郎の後任として関東軍総司令官に就任する。