Yamashita var sønn av en landsbylege. Han begynte tidlig på den militære løpebane. Etter kadettskole begynte han i juni 1906 på militærakademiet i Hiroshima og ble løytnant i infanteriet.