Yamashita dro i 1902 til USA, og er den som introduserte judo for det amerikanske samfunnet. Under hans opphold lærte han dessuten Theodore Roosevelt judo. Etter Roosevelts ønske deltok Yamashita i kamp mot wrestleren George Grant, en mann nær dobbelt Yamashitas størrelse, på i Annapolis. Yamashita vant en overbevisende seier, og ble tildelt en trenerjobb på skolen.