W 1911 roku wyemigrował do Palestyny, wówczas części Imperium Osmańskiego, przez pewien czas mieszkając w kibucu Deganja. Gdy wybuchła I wojna światowa, wyjechał do Egiptu, gdzie wraz z Władimirem Żabotyńskim stworzył ideę Legionu Żydowskiego. Tzw. Korpusy Mułów Syjonu powstały w 1915, stając się pierwszymi regularnymi oddziałami całkowicie żydowskimi od blisko 2 tysięcy lat. Trumpeldor brał udział w bitwie o Gallipoli, gdzie został ranny w ramię. Legion Żydowski pozostał tam przez całą kampanię, a potem został rozwiązany, krótko po przemieszczeniu żołnierzy do Wielkiej Brytanii.