Joseph Trumpeldors Vater, Wulf Trumpeldor, diente im Kaukasuskrieg als Kantonist und durfte sich als „nützlicher Jude“ außerhalb des Ansiedlungsrayons niederlassen. Ursprünglich in der Ausbildung zum Zahnarzt, ging Joseph Trumpeldor 1902 zur russischen Armee. Während des Russisch-Japanischen Krieges nahm er an der Belagerung von Port Arthur teil, wo er seinen linken Arm verlor und gefangen genommen wurde. Später erhielt er vier Tapferkeitsorden, die ihn zu dem am häufigsten ausgezeichneten jüdischen Soldaten in Russland machten. 1906 wurde er der erste jüdische Offizier in der Armee.