Yamashita Tomoyuki wurde am 8. November 1885 als Sohn eines Dorfarztes in Ōsugi, heute ein Teil von Ōtoyo in der Präfektur Kōchi auf Shikoku geboren. Nach dem Besuch mehrerer Kadettenanstalten schloss er im Juni 1906 die Militärakademie von Hiroshima im Rang eines Leutnants der Infanterie ab. Im Jahr 1914 nahm er im Rang eines Oberleutnants an der Belagerung von Tsingtau teil. Nach seiner Rückkehr nach Japan ging er an die Heereshochschule, die er 1916 als sechstbester seines Jahrgangs abschloss. Im selben Jahr heiratete er Nagayama Hisako. Von 1919 bis 1922 war Yamashita, der als Experte für Deutschland und den deutschsprachigen Raum galt, zuerst in Bern und anschließend in Berlin als stellvertretender Militärattaché tätig. Bei seiner Rückkehr im Februar 1922 wurde er zum Major befördert und an den Heeresgeneralstab abkommandiert. Während dieser Zeit entwickelte er einen Plan zur Verkleinerung der japanischen Streitkräfte, der aufgrund der aktuell herrschenden politischen Meinung jedoch auf eine breite Opposition stieß. Daneben war Yamashita zu dieser Zeit politisch sehr aktiv und gehörte der Kōdō-ha an, einer Fraktion innerhalb der japanischen Armee, die für eine stärkere Rolle des Militärs im Staat eintrat. Dies brachte ihn unter anderem in Konflikt mit Tōjō Hideki und anderen später sehr einflussreichen Militärs, was seinen Aufstieg in höchste militärische Kreise nachhaltig behinderte.