Fue el promotor, con la ayuda de Zeev Jabotinsky, de la creación de la primera unidad militar judía destinada a liberar (junto con el Ejército Británico) la Tierra de Israel de la presencia del Imperio otomano, el llamado Cuerpo de Mulas de Sion. Fue el comandante de esta unidad militar durante la Batalla de Galípoli. Cuando se dispersó el regimiento, Trumpeldor y Jabotinsky fundaron en Gran Bretaña un segundo regimiento judío con inmigrantes provenientes de Rusia.